ГЛАВА 3
Взгляд в будущее
ИИ человеческого уровня по природе своей очень-очень опасен. И понять эту проблему не особенно трудно. Не нужно быть ни сверхумным, ни сверхинформированным, ни даже сверхинтеллектуально-честным, чтобы понять эту проблему.
Майкл Вассар, президент Исследовательского института машинного интеллекта
Я определенно считаю, что создавать искусственный интеллект человеческого уровня необходимо с максимальным вниманием. В этом случае максимальное внимание означает гораздо более скрупулезную осторожность, чем была бы необходима в работе с вирусом Эбола или плутонием.
Майкл Вассар — подтянутый невысокий мужчина лет тридцати. Он обладает научными степенями в области биохимии и бизнеса и прекрасно разбирается в разных способах уничтожения человечества, так что такие слова, как «вирус Эбола» и «плутоний», слетают с его языка без малейших колебаний или иронии. Одна из стен его квартиры в стильном кондоминиуме представляет собой одно большое окно, в котором, как в раме, висит красный мост, соединяющий Сан-Франциско с Оклендом. Это не знаменитый элегантный мост Золотые Ворота, который находится внутри города. Этот красный мост называют его безобразным сводным братом. Вассар рассказал мне, что известны случаи, когда люди, решившие покончить с собой, проезжали через этот мост, чтобы добраться до другого, красивого.
Вассар посвятил свою жизнь тому, чтобы предотвратить самоубийство глобального масштаба. Он является президентом Исследовательского института машинного интеллекта — мозгового треста со штаб-квартирой в Сан-Франциско, основанного для противодействия гибели человеческой расы от рук, вернее, от байтов искусственного интеллекта. На сайте института размещаются серьезные статьи об опасных сторонах ИИ, а раз в год институт собирает представительную конференцию по сингулярности. За два дня работы конференции программисты, нейробиологи, ученые, предприниматели, специалисты по этике и изобретатели обсуждают положительные и отрицательные стороны текущей ИИ-революции. Организаторы равно приветствуют выступления сторонников и противников этого процесса, приглашают к себе и тех, кто уверен, что никакой сингулярности не будет, и тех, кто считает институт апокалиптической техносектой.
Вассар улыбается при мысли о секте.
Люди, которые приходят работать в наш институт, не похожи на сектантов, скорее наоборот. Как правило, они осознают исходящие от ИИ опасности раньше, чем узнают о существовании института.
Я, к примеру, не знал о существовании Исследовательского института машинного интеллекта, пока не услышал об эксперименте «ИИ в ящике». О нем рассказал мне друг, но в его пересказе история вышла сильно искаженной, особенно часть об одиноком гении и его оппонентах-миллионерах. Заинтересовавшись темой, я нашел источник этой легенды на сайте института и выяснил, что автор эксперимента — Елиезер Юдковски — был одним из основателей института (тогда он назывался Институтом сингулярности) вместе с предпринимателями Брайаном и Сабиной Эткинс. Несмотря на приписываемую ему замкнутость, мы с Юдковски обменялись электронными письмами, и он подробно рассказал мне об эксперименте.
Пари между ИИ, за который играл Юдковски, и Привратниками, задача которых состояла в контроле над ИИ, заключались максимум на несколько тысяч долларов, но никак не на миллионы. Всего состоялось пять игр, «ИИ в ящике» выиграл три из них. Это означает, что ИИ, как правило, умудрялся выбраться из «ящика», но все же не каждый раз.
Отчасти слухи об эксперименте «ИИ в ящике» все же были верны: Юдковски и правда живет замкнуто, бережет время и не открывает своего адреса. Я напросился в гости к Майклу Вассару потому, что был потрясен и обрадован тем, что в природе существует некоммерческая организация, призванная бороться с опасностями ИИ, и что умные молодые люди посвящают свою жизнь решению этой проблемы. Но я к тому же надеялся, что разговор с Вассаром поможет мне все же добраться до Юдковски.
Прежде чем погрузиться с головой в дело разоблачения опасностей искусственного интеллекта, Вассар успел получить степень магистра бизнес-администрирования и заработать денег, став одним из основателей интернет-компании музыкального лицензирования Sir Groovy. Эта компания выступает посредником между теле- и кинопродюсерами и независимыми звукозаписывающими компаниями, предлагающими свежие записи не самых известных и потому не самых дорогих музыкантов. До 2003 г. Вассар колебался, не заняться ли ему опасностями нанотехнологий, но в том году он встретился с Елиезером Юдковски, работы которого читал в Интернете уже много лет. Он узнал о существовании Исследовательского института машинного интеллекта — и об угрозе более неотвратимой и опасной, чем нанотехнологии: опасности со стороны искусственного интеллекта.
Елиезер убедил меня, что ИИ человеческого уровня может быть создан в короткие сроки при относительно небольшом финансировании, и риск глобальной катастрофы по вине такого ИИ очень встревожил меня. У меня не было никаких убедительных причин считать, что УЧИ не может появиться в течение, скажем, следующих двадцати лет.
Это раньше, чем предсказанное появление серьезных нанотехнологий. Да и дополнительных расходов на разработку ИИ будет, скорее всего, куда меньше. Так что Вассар изменил курс.
При встрече я признался, что раньше пренебрежительно относился к мысли о том, что ИИ человеческого уровня может быть создан небольшой группой специалистов со скромным финансированием. Во всех опросах специалистов такой вариант появления ИИ фигурировал как маловероятный.
Так может ли, к примеру, искусственный интеллект создать «Аль-Каида»? Или Революционные вооруженные силы Колумбии? Или какая-нибудь секта вроде «Аум Синрикё»?
Вассар не считает, что ИИ родится в террористической ячейке. Слишком велик интеллектуальный разрыв.
Известно, что плохие парни, которые хотят уничтожить мир, обычно не слишком умны. Вы знаете, у людей, которые и правда хотят уничтожить мир, для реализации чего бы то ни было не хватает способностей к долгосрочному планированию.
Но как же «Аль-Каида»? Разве для реализации террористических атак, включая и теракт 11 сентября 2001 г., не нужны были развитое воображение и тщательное планирование?
По масштабу подготовка к теракту не сравнима с разработкой ИИ человеческого уровня. Написание программы, которая хоть что-нибудь делала бы лучше человека, не говоря уже о реализации всего набора свойств и способностей ИИ, потребовало бы на несколько порядков больше таланта и организованности, чем демонстрирует "Аль-Каида" всем перечнем своих злодеяний. Если бы создать ИИ было настолько просто, кто-нибудь поумнее "Аль-Каиды" давно бы уже сделал это.
Но как насчет правительств таких стран, как Северная Корея или Иран?
В практическом аспекте качество науки, которую могут обеспечить эти нехорошие режимы, отвратительно. Единственное исключение — это нацисты. Но, как бы это сказать, если нацизм вновь возникнет, у нас будут серьезнейшие проблемы — с искусственным интеллектом или без него.
Здесь я с ним не согласен, хотя и не в отношении нацистов. Иран и Северная Корея сумели найти высокотехнологичные способы шантажировать весь остальной мир, с одной стороны, разработкой ядерного оружия, с другой — межконтинентальными ракетами. Так что я не стал бы вычеркивать их из короткого списка потенциальных создателей ИИ, ведь они уже не раз выразили полное пренебрежение международным сообществом. Кроме того, если ИИ человеческого уровня способна создать небольшая группа специалистов, то ясно, что финансировать такую группу может любое государство-изгой.
Говоря о небольших группах специалистов, Вассар имел в виду компании, работающие открыто. Но мне приходилось слышать и о других фирмах — так называемых стелс-компаниях, которыми владеют частные лица, тайком нанимающие людей и никогда не выпускающие пресс-релизов и вообще никак не рассказывающие о том, чем занимаются. Если говорить о разработке ИИ, то единственная причина, по которой компания может держаться в тени, состоит в том, что ее специалисты добились какого-то серьезного прорыва и не хотят раскрывать секреты конкурентам. Искать такие компании по определению трудно, хотя слухами о них земля полнится. Так, основатель PayPal Питер Тиль финансирует три стелс-компании в области искусственного интеллекта.
Компании, работающие в стелс-режиме, однако, выглядят иначе и встречаются чаще. Они ищут финансирование и даже стремятся к публичности, но не раскрывают своих планов. Петер Восс, известный новатор ИИ и автор технологии распознавания речи, тоже разрабатывает ИИ в своей компании Adaptive AI. Он публично заявил, что ИИ человеческого уровня может быть создан в ближайшие десять лет. Но как именно и за счет чего, он не говорит.
Со стелс-компаниями связана еще одна сложность. Небольшая мотивированная группа вполне может существовать внутри крупной известной компании. Что вы думаете, к примеру, насчет Google? Почему бы богатой мегакорпорации не взяться за поиски «святого Грааля»?
На мой вопрос на одной из ИИ-конференций директор Google по исследованиям Питер Норвиг, один из авторов классического учебника «Искусственный интеллект. Современный подход», сказал, что Google не занимается разработкой ИИ человеческого уровня. Он сравнил эту задачу с планом межпланетных пилотируемых полетов NASA — потому что такого плана не существует. Тем не менее агентство будет и дальше работать над отдельными направлениями, необходимыми для космических путешествий, — робототехникой и ракетной техникой, астрономией и т. п. — и когда-нибудь в один прекрасный момент все детали головоломки сложатся и полет к Марсу обретет реальные очертания.
Так и в процессе работы над отдельными специализированными ИИ-проектами проделывается куча подготовительной работы. Машины учат таким интеллектуальным занятиям, как поиск, распознавание речи, обработка естественного языка, визуальное восприятие, поиск информации, и многому другому. По отдельности это всего лишь надежные мощные инструменты, и они быстро развиваются год от года. Вместе они продвигают компьютерные науки вперед и, безусловно, идут в копилку будущих систем ИИ человеческого уровня.
Норвиг сказал мне, что у Google нет ИИ-программы. Но сравните это заявление с тем, что сказал его босс Ларри Пейдж, один из основателей Google, на лондонской конференции под названием Zeitgeist'06:
Людям все время кажется, что наша поисковая система уже готова. Это не так. Сделано пока, вероятно, не больше 5 %. Мы хотим создать идеальный поисковый движок, способный понять что угодно… кое-кто назвал бы это искусственным интеллектом… Идеальный поисковый движок понимал бы все на свете. Он понимал бы все, о чем вы его спросили, и мгновенно выдавал бы в точности то, что нужно… Вы могли бы спросить у него: "О чем бы мне спросить Ларри?" — и он дал бы верный ответ.
Лично мне кажется, что говорит он об ИИ человеческого уровня.
IBM ведет разработку такого ИИ в рамках нескольких хорошо финансируемых проектов. DAPRA, Агентство перспективных проектов Минобороны США, кажется, финансирует все ИИ-проекты, которыми я интересовался. Так неужели Google не разрабатывает ИИ? Когда я задал этот вопрос Джейсону Фриденфелдсу из пресс-службы Google, он написал в ответ:
…нам пока слишком рано рассуждать на подобные темы, это все еще далеко впереди. В целом мы больше сосредоточены на практических технологиях машинного обучения, таких как машинное зрение, распознавание речи и машинный перевод, что в основном сводится к построению статистических моделей, отражающих закономерности, — ничего близкого к представлению об ИИ человеческого уровня как о "думающей машине".
Но мне представляется, что цитата из высказывания Пейджа проливает больше света на отношение Google к проблеме ИИ, чем ответ Фриденфелдса. В частности, она помогает объяснить эволюцию Google от компании мечтателей и бунтарей, какой она была в 1990-е гг. (вспомните нашумевший тогдашний слоган компании: «Не будь злом»), до сегодняшней по-оруэлловски непрозрачной громадины, занятой сбором личных данных.
Политика компании позволяет ей передавать ваши личные данные всевозможным сервисам Google, включая Gmail, Google+, YouTube и др. С кем вы знакомы, куда вы ходите, что покупаете, с кем встречаетесь, как ищете информацию и куда заходите в Сети, — Google интересует все. Любая крупинка информации представляет ценность. Заявленная цель: улучшить вашу жизнь как пользователя, сделав систему поиска практически всеведущей в отношении вас самих. Параллельная цель — сформировать для вас не только рекламный пакет, но и круг новостей, видеороликов и музыки, которые вы будете потреблять, и автоматически сделать вас мишенью маркетинговых кампаний. Даже фирменные автомобили с камерами, снимающие «уличные виды» для Google Maps, являются частью этого плана — в течение трех лет Google использовал свой фотографирующий автопарк для перехвата данных из частных сетей Wi-Fi в США и других странах. Их интересовала любая информация: пароли, история пользования Интернетом, личные адреса электронной почты, все что угодно.
Ясно, что компания поставила верных ей прежде клиентов на место, и место это оказалось далеко не первым. Поэтому казалось сомнительным, что планы Google не включают в себя ИИ.
А примерно через месяц после моего обмена письмами с Фриденфелдсом газета The New York Times разразилась статьей о Google X.
Google X — это стелс-компания. Эту секретную лабораторию в Кремниевой долине первоначально возглавлял специалист по ИИ и разработчик роботизированного автомобиля Google Себастьян Трун. Нацелена она на стопроцентно фантастические проекты, такие как космический лифт: предполагается, что он устремится в космос и облегчит человечеству освоение Солнечной системы. Помимо прочих в штат стелс-компании входит Эндрю Ын, робототехник мирового класса и бывший директор Лаборатории искусственного интеллекта Стэнфордского университета.
В конце 2012 г. Google пригласил уважаемого изобретателя и писателя Рэя Курцвейла на роль главного инженера компании. В главе 9 будет рассказано, что Курцвейл известен многочисленными достижениями в области ИИ и продвигает исследование мозга как самый короткий путь разработки искусственного интеллекта.
Не нужно прибегать к помощи Google glasses, чтобы увидеть очевидное: если на Google работают по крайнее мере двое из известнейших мировых специалистов по ИИ, да плюс к тому Рэй Курцвейл, то создание ИИ человеческого уровня имеет среди перспективных проектов компании высокий приоритет.
Стремясь получить конкурентное преимущество на рынке, Google X и другие стелс-компании, вполне возможно, создадут полноценный искусственный интеллект вне публичного поля.
Итак, похоже, что стелс-компании осуществляют скрытный обход на пути к ИИ человеческого уровня. Однако Вассар считает, что самый быстрый путь будет весьма публичным и дорогостоящим. Это метод обратного проектирования, то есть построение искусственного интеллекта по образцу работающего человеческого мозга с использованием как искусного программирования, так и решения в лоб. Под «решением в лоб» подразумевается количественное накопление продвинутой техники — блоков с самыми быстрыми процессорами, петабайт памяти и т. п.
Экстремальный вариант решения в лоб — биологические исследования, — сказал мне Вассар. — Продолжая анализировать при помощи машин биологические системы, разбираться в обмене веществ, в сложных взаимоотношениях внутри биологических систем, со временем люди накопят огромное количество информации о том, как нейроны обрабатывают информацию. В дальнейшем эти данные можно использовать для разработки ИИ.
Получается примерно так: в основе работы разума лежат биохимические процессы, которые протекают в нейронах, синапсах и дендритах. При помощи различных технологий сканирования мозга, включая позитронно-эмиссионную и функциональную магнитно-резонансную томографию, а также неврологических зондов, размещаемых как внутри, так и снаружи черепа, ученые определяют, как конкретные нейроны и кластеры нейронов участвуют в мыслительном процессе. Затем они реализуют каждый из этих процессов при помощи компьютерной программы или алгоритма.
Этим занимается новая область науки — вычислительная нейробиология. Один из мировых лидеров в этой области — доктор Ричард Грейнджер, директор Лаборатории инженерии мозга Дартмутского университета — создал алгоритмы, работа которых имитирует работу нейронных контуров человеческого мозга. Он даже запатентовал чрезвычайно производительный компьютерный процессор, построенный на принципах работы этих контуров. Когда такой процессор доберется до рынка, мы станем свидетелями гигантского скачка в машинном распознавании объектов, поскольку компьютеры будут это делать в точности так, как наш мозг.
Конечно, остается множество других контуров мозга, которые нужно будет исследовать и скопировать. Но стоит нам создать алгоритмы для всех процессов мозга — и наши поздравления! Вот и готовый мозг! Или нет? Может, и нет. Возможно, в результате получится лишь машинный эмулятор мозга. Надо сказать, в отношении ИИ это серьезнейший вопрос. К примеру, думает ли шахматная программа?
Когда компания IBM бралась за разработку Deep Blue, обыгрывающего лучших шахматистов мира, его не программировали играть в шахматы, как чемпион мира Гарри Каспаров, только еще лучше. Авторы программы просто не знали, как это сделать. Виртуозная игра Каспарова опиралась на его громадный опыт, на множество сыгранных им партий и еще большее количество изученных. Он собрал в своей голове огромную библиотеку дебютов, атак, маневров, блокад, ловушек, гамбитов и эндшпилей — настоящую энциклопедию стратегии и тактики. Он узнает позиции, видит закономерности, помнит и думает. Обычно Каспаров думает на три-пять ходов вперед, но это число может доходить до четырнадцати. Ни один современный компьютер на это не способен.
Поэтому IBM запрограммировала компьютер на анализ 200 млн позиций в секунду.
Deep Blue начинает с того, что делает гипотетический ход и оценивает все возможные ответные ходы Каспарова. На каждый такой ход он предлагает собственный гипотетический ответ и вновь оценивает все возможные ответные ходы Каспарова. Такое моделирование глубиной в два уровня называют двухслойным поиском — иногда Deep Blue доходит до шестого слоя. Это означает, что на каждый гипотетический ход рассматривается по шесть следующих «ходов» каждой стороны.
Затем компьютер возвращается к нетронутой доске и начинает оценивать другой гипотетический ход. Этот процесс повторяется много раз, для всех возможных ходов, и каждый из них оценивается в баллах в зависимости от того, берет ли этот ход фигуру, и насколько ценную, улучшает ли он в целом позицию игрока и насколько. В конце концов ход с максимальным рейтингом будет сделан.
Так думает ли Deep Blue?
Возможно. Но вряд ли кто-то будет спорить с тем, что думает он не так, как человек. И мало кто из специалистов сомневается в том, что с ИИ будет та же история. Каждый исследователь, занятый разработкой ИИ человеческого уровня, применяет собственный подход. Некоторые идут по чисто биологическому пути, пытаясь в точности имитировать мозг. Другие также опираются на биологию и принимают мозг за образец, но больше полагаются на безотказный инструментарий ИИ: способы доказательства теорем, поисковые алгоритмы и алгоритмы обучения, автоматизированную логику и т. п.
Мы рассмотрим некоторые из этих инструментов и увидим, что человеческий мозг использует многие из тех же самых вычислительных методов, что и компьютеры. Но смысл в том, что мы не можем сказать заранее, будут ли компьютеры думать в нашем понимании и обретут ли они когда-нибудь что-нибудь вроде намерений (интенций) или сознания. Таким образом, говорят некоторые ученые, искусственный интеллект, эквивалентный человеческому интеллекту, невозможен.
Философ Джон Сёрль предложил для доказательства этого утверждения мысленный эксперимент, получивший название «китайской комнаты».
Представьте, что человека, совершенно не говорящего и не понимающего по-китайски, заперли в комнате, полной коробок с карточками, на которых изображены китайские иероглифы (своеобразная база данных), и книгой инструкций на его родном языке о том, что нужно делать с этими иероглифами (программа). Представьте также, что люди вне комнаты передают этому человеку другие карточки с китайскими иероглифами, которые на самом деле (он этого не знает) представляют собой вопросы на китайском языке (входной сигнал). И представьте еще, что, следуя инструкциям (программе), человек в комнате может передавать обратно карточки с китайскими иероглифами, представляющие собой верные ответы на эти вопросы (выходной сигнал).
Человек в комнате корректно отвечает на вопросы, так что люди снаружи считают, что он может общаться на китайском. Тем не менее на самом деле он не понимает по-китайски ни слова. Подобно этому человеку, заключает Сёрль, компьютер никогда не научится по-настоящему думать и понимать. В лучшем случае обратное проектирование мозга позволит как следует отладить мимику. ИИ-системы дадут тот же механический результат.
Сёрль не одинок во мнении о том, что компьютеры никогда не научатся думать и не обретут сознания. Но у него много критиков с самыми разными претензиями. Некоторые недоброжелатели приписывают ему компьютерофобию. Если рассматривать в целом, то все в китайской комнате, включая человека, складывается в систему, которая очень убедительно «понимает» китайский язык. С такой позиции аргументы Сёрля замыкаются: ни одна из частей комнаты (компьютера) не понимает по-китайски, следовательно, и сам компьютер не может понимать по-китайски.
Кроме того, аргументы Сёрля можно с той же легкостью применить и к человеку: у нас нет формального определения того, что представляет собой в реальности понимание языка — так как же мы можем утверждать, что человек «понимает» какой-то язык? Судя о том, имеется ли в данном случае понимание, мы можем опереться только на наблюдения. В точности как люди вне китайской комнаты Сёрля.
В любом случае что, собственно, такого выдающегося в мозговых процессах и даже в сознании? Тот факт, что сегодня мы не понимаем феномен сознания, не означает, что мы никогда его не поймем. Это не волшебство.
И все же я согласен и с Сёрлем, и с его критиками. Сёрль прав: машинный интеллект не будет похож на нас. Он будет полон вычислительных механизмов, которые никто как следует не понимает. К тому же компьютерные системы, созданные для ИИ человеческого уровня на основе так называемой «когнитивной архитектуры», могут оказаться слишком сложными, чтобы их мог понять один человек. Но критики Сёрля правы в том, что когда-нибудь УЧИ или ИСИ мог бы научиться мыслить, как мы, если бы мы довели его разработку до этого этапа.
Я не думаю, что до этого дойдет. Я считаю, что наше Ватерлоо состоится в обозримом будущем и участвовать в нем будет завтрашний ИИ и нарождающийся УЧИ, появление которого ожидается лет через десять-двадцать. Для выживания человечества, если оно возможно, необходимо, помимо всего прочего, при создании УЧИ встроить в него что-то похожее на совесть и человеческую отзывчивость, даже дружелюбие. Для этого необходимо как минимум до тонкостей понять умные машины, чтобы не было неожиданностей.
Вернемся ненадолго к одному известному определению так называемой «технологической сингулярности». В нем говорится о будущем, когда нам, людям, придется делить планету с другим, более мощным разумом. Рэй Курцвейл предполагает, что человечество сольется с машинами и таким образом уцелеет. Другие специалисты считают, что машины изменят и улучшат нашу жизнь, но сами мы останемся такими же, как прежде, просто людьми, а не человеко-машинными киборгами. Третьи, и я солидарен с ними, считают, что будущее принадлежит машинам.
Исследовательский институт машинного интеллекта был основан для того, чтобы сохранить наши человеческие ценности вне зависимости от формы, которую приобретут наследники.
Вассар в Сан-Франциско сказал мне:
На кону сейчас передача человеческих ценностей преемникам человечества. А через них — и Вселенной.
В институте считают, что первый УЧИ, который выйдет на свободу, должен быть безопасен; тогда он сможет передать человеческие ценности преемникам человечества, какую бы форму они ни приняли. Если обеспечить безопасность УЧИ не удастся, ни сам человек, ни то, что мы ценим, не уцелеют. И на кону не только будущее Земли. Как сказал мне Вассар
миссия нашего института — сделать так, чтобы технологическая сингулярность произошла в наилучших возможных условиях и принесла Вселенной наилучшее возможное будущее.
Как может выглядеть удачный для Вселенной исход дела?
Вассар пристально смотрел за окно на оживленное по случаю часа пик движение; машины только-только начали скапливаться на железном мосту в Окленд. Где-то там, за водной поверхностью, лежало будущее. В его воображении сверхразум уже вышел из-под контроля своих создателей. Он колонизировал сначала Солнечную систему, а затем и Галактику; теперь он занимался переформатированием Вселенной и вырастал в нечто настолько необычное, что сложно поддается человеческому пониманию.
В этом будущем, сказал Вассар, вся Вселенная становится единым компьютером, или единым сознанием; это настолько же опережает наши сегодняшние представления о мире, насколько космический корабль опережает червя. Курцвейл пишет, что это судьба Вселенной. Другие соглашаются, но считают, что, бездумно развивая ИИ, мы сделаем неизбежным как наше собственное уничтожение, так и уничтожение других существ, возможно, обитающих где-то далеко. Если ИСИ не будет ни любить нас, ни ненавидеть, точно так же он не будет ни любить, ни ненавидеть всех остальных существ во Вселенной. Неужели наше стремление построить ИИ человеческого уровня знаменует собой начало галактической эпидемии?
Покидая квартиру Вассара, я размышлял о том, что может помешать этому антиутопическому сценарию осуществиться. Что сможет остановить всеразрушающий искусственный разум человеческого или более высокого уровня? Более того, есть ли в этой антиутопической гипотезе слабые места?
Ну, вообще-то создатели ИИ могли бы сделать его «дружелюбным», чтобы то, что разовьется из первых образцов УЧИ, не уничтожило нас и другие существа во Вселенной. С другой стороны, не исключено, что мы ошибаемся насчет способностей и побудительных мотивов УЧИ и напрасно боимся, что он будет завоевывать Вселенную. Возможно, это ложная дилемма.
Может быть, ИИ никогда не сможет развиться в УЧИ. Есть серьезные основания считать, что эволюция ИИ произойдет иначе и более управляемым способом, чем мы думаем. Короче говоря, мне хотелось знать, что могло бы направить нас по более безопасному пути в будущее.
Я собирался спросить об этом у автора эксперимента «ИИ в ящике» Елиезера Юдковски. Мне говорили, что он не только предложил тот мысленный эксперимент, но и вообще знает о «дружелюбном» ИИ больше, чем кто бы то ни было другой на всем белом свете.
