ГЛАВА 4
По сложному пути
Среди возможных катастроф ничто не сравнится с выпущенным в мир искусственным интеллектом, за исключением, может быть, нанотехнологии…
Елиезер Юдковски, научный сотрудник Исследовательского института машинного интеллекта
В Кремниевой долине четырнадцать «официальных» городов, в которых размещается двадцать пять математических и технических университетов и филиалов. Их выпускники пополняют ряды софтверных, полупроводниковых и интернет-фирм, составляющих на данный момент тот технологический центр, который возник примерно в этих же местах в начале XX в. и начался с развития радио. На Кремниевую долину приходится около трети всего венчурного капитала США. Здесь число технарей, причем самых высокооплачиваемых, на душу населения максимально. Значительное число американских миллиардеров и миллионеров считают Кремниевую долину своим домом.
Здесь, в эпицентре глобальной технологии, я ехал к дому Елиезера Юдковски самым старомодным способом — по письменным указаниям (хотя и во взятой напрокат машине, и в айфоне у меня имелись GPS-навигаторы). Юдковски, стремясь сохранить информацию о себе в тайне, прислал схему проезда по электронной почте, попросив при этом никому не открывать ни физический, ни электронный его адрес. Телефонный номер он мне сообщать не стал.
В свои тридцать три года Юдковски, один из основателей и сотрудник Института машинного интеллекта, написал об опасностях ИИ больше, чем кто бы то ни было. Больше десяти лет назад, когда Юдковски только начинал свою профессиональную деятельность, людей, посвятивших, как он, свою жизнь изучению опасностей искусственного интеллекта, практически не было. Он, конечно, не приносил никаких формальных клятв, но и тогда, и теперь избегает всякой деятельности, которая могла бы увести его внимание от главного вопроса. Он не пьет, не курит, не употребляет наркотики. Редко появляется на публике и мало общается с коллегами. Несколько лет назад он отказался от чтения ради удовольствия. Он не любит давать интервью, а если уж дает, то предпочитает делать это по скайпу с лимитом времени в полчаса. Он атеист (среди специалистов по ИИ это скорее правило, чем исключение), так что ему не приходится тратить драгоценные часы в церкви. У него нет детей, хотя он их любит и считает родителей, которые не подписали своих детей на криоконсервацию, плохими родителями.
Но обратите внимание на парадокс. Для человека, вроде бы дорожащего тайной своей личной жизни, Юдковски выложил в Интернет слишком много информации о себе. После первых же попыток найти этого человека я выяснил, что в любом уголке Сети, где ведутся дискуссии о теории разума и грядущих катастрофах, никуда не деться от него самого и его самых сокровенных размышлений. Если вы задумываетесь о разрушительности ИИ, не забудьте освободить в своей жизни место под идеи Юдковски.
Благодаря его вездесущности я узнал, к примеру, что его младший брат Иегуда покончил с собой в родном Чикаго в возрасте девятнадцати лет. Горе Юдковски вылилось в онлайновую тираду, которая и сегодня, почти десять лет спустя, задевает за живое. Еще я узнал, что, бросив школу в восьмом классе, Юдковски самостоятельно изучил математику, логику, историю науки и вообще все, что показалось ему необходимым. Среди других освоенных им навыков — убедительная риторика и умение писать плотную и часто забавную прозу:
Я большой поклонник музыки Баха и считаю, что лучше всего ее исполнять на электронных инструментах с тяжелым ритмом, в точности как планировал сам Бах.
Юдковски всегда спешит, потому что его работа жестко ограничена по срокам — ограничена тем днем, когда кто-нибудь создаст наконец ИИ человеческого уровня. Если исследователи построят свой ИИ с предохранителями, о которых говорит Юдковски, он может оказаться спасителем человечества, и не только человечества. Но если интеллектуальный взрыв все же произойдет и окажется, что Юдковски не удалось внедрить достаточно предохранителей, то и мы с вами, скорее всего, превратимся в серую слизь, а с нами и Вселенная. Эта идея находится в самом центре его собственной космологии.
Я приехал к нему, чтобы узнать побольше о дружественном ИИ (термин, введенный Юдковски). По его мнению, дружественным можно назвать такой ИИ, который навсегда сохранит человечество и наши ценности. Он не станет уничтожать наш биологический вид или расползаться по Вселенной подобно пожирающей планеты космической чуме.
Но что такое дружественный ИИ? Как его создать?
Мне хотелось также услышать рассказ об эксперименте «ИИ в ящике», а особенно узнать, как мой собеседник играл роль искусственного интеллекта человеческого уровня, как он уговаривал Привратника выпустить его на волю. Я уверен, что когда-нибудь вы лично, или кто-то из ваших знакомых, или кто-то удаленный от вас на пару рукопожатий в самом деле окажется в кресле Привратника. Этому человеку необходимо знать заранее, чего можно ожидать в такой ситуации и как этому сопротивляться. Может быть, Юдковски это знает.
Жилище Юдковски располагается в концевой секции подковообразного двухэтажного дома с бассейном, искусственным водопадом во внутреннем дворике и садом вокруг. Его квартира просторна и безукоризненно чиста. Почетное место на островке в кухне занимают монитор и компьютер, рядом стоит единственный в квартире мягкий барный стул, с которого в окно виден дворик. Здесь хозяин квартиры пишет свои книги.
Это высокий человек ростом около 180 см, склонный к эндоморфизму (это значит, что он округл, но не жирен). Мягкие обезоруживающие манеры производят приятное впечатление по контрасту с резкими короткими электронными письмами, с которых начиналось наше знакомство.
Мы сидели на кушетках напротив друг друга. Я сказал Юдковски, что основной мой страх относительно ИИ связан с тем, что в мире не существует методик программирования таких туманных и сложных вещей, как мораль или дружелюбие. Так что мы получим машину, которая будет прекрасно решать задачи, обучаться, адаптироваться к обстановке и оперировать понятиями в рамках здравого смысла. Мы будем считать ее похожей на человека. Но это будет нашей трагической ошибкой
Юдковски согласился со мной.
Если программисты окажутся хотя бы чуть-чуть некомпетентными и слегка небрежно отнесутся к конструированию ИИ, то получится, я уверен, нечто совершенно чуждое. И это по-настоящему пугает. Точно так же, если вы наберете правильно девять из десяти цифр моего телефонного номера, вас не обязательно соединят с человеком, который будет на 90 % похож на меня. Если при попытке сконструировать полноценный ИИ вы все сделаете на 90 % правильно, это не означает, что результат будет на 90 % хорош.
Мало того, он будет на 100 % плох. Автомобили существуют не для того, чтобы убить вас, провел аналогию Юдковски, но их потенциальная опасность — побочный продукт автоиндустрии. Точно так же будет с ИИ. Он вряд ли будет вас ненавидеть, но вы состоите из атомов, которым он, возможно, найдет иное применение, и он, как сказал Юдковски, «…будет, скорее всего, сопротивляться любым вашим действиям, направленным на то, чтобы сохранить эти атомы в своем владении». Так что побочным эффектом бездумного программирования станет то, что готовый ИИ не будет трепетно относиться к вашим атомам.
При этом ни общественность, ни разработчики ИИ не заметят опасности, пока не станет слишком поздно.
Есть тенденция считать, что благонамеренные люди создают хороший ИИ, а злонамеренные — плохой и злой ИИ. Но источник проблемы не в этом. Источник проблемы в том, что, когда даже самые благонамеренные люди работают над созданием ИИ, их не особенно заботит вопрос дружественности этого самого ИИ. Они уверены, что поскольку сами они питают исключительно добрые намерения, то и созданный ими ИИ автоматически получится благонамеренным, а это неверно. На самом деле создание такого ИИ — сложнейшая математическая и инженерная задача. Мне кажется, что большинство из них просто недостаточно хорошо умеют думать о неудобных и неприятных вещах. Они начали с того, что не стали думать так: "Дружественный ИИ — это проблема, которая убивает".
Юдковски говорит, что создатели ИИ заражены идеей счастливого будущего, преображенного искусственным интеллектом, и эта идея живет в их воображении. Они думают о ней с тех самых пор, как их укусила муха ИИ.
Они не хотят слышать ничего, что противоречило бы этой идее. Ты говоришь им о том, что ИИ может оказаться недружественным, но слова как будто отскакивают. Как гласит старая пословица, больше всего вреда наносят те, кто хочет чувствовать собственную значительность. Многим амбициозным людям намного проще думать об уничтожении мира, чем о том, что они сами никак себя не проявят. И таковы все без исключения встреченные мной люди, считающие, что ИИ-проекты принесут им вечную славу.
Эти творцы ИИ — не сумасшедшие ученые, они ничем не отличаются от вас или от меня; в этой книге вы познакомитесь с некоторыми из них. Но вспомните об ошибке доступности из главы 2. Столкнувшись с задачей, человек, как правило, выбирает свежий, яркий или как-то иначе привлекший его внимание вариант решения. Гибель от «рук» ИИ, как правило, для создателей ИИ не является вариантом. По крайней мере, она куда сложнее, нежели продвижение в научной области, получение пожизненной должности, публикации, богатство и т. п.
Более того, мало кто из создателей ИИ, в отличие от теоретиков ИИ, озабочен построением дружественного ИИ. За одним-единственным исключением никто из десятка с лишним творцов ИИ, с которыми мне довелось разговаривать, не обеспокоен в достаточной мере тем, чтобы работать над «дружелюбием» ИИ или любыми другими защитными мерами. Возможно, мыслители переоценивают эту проблему, а может быть, проблема разработчиков — в незнании того, что они не знают. В одной популярной онлайн-газете Юдковски так написал об этом:
Человеческий вид возник в результате естественного отбора, действующего через неслучайное сохранение случайных мутаций. Один из путей, ведущих к глобальной катастрофе — к тому, что кто-то нажмет кнопку, плохо представляя себе, что именно эта кнопка делает, — состоит в том, что искусственный интеллект возникает в результате аналогичного процесса постепенного набора рабочих алгоритмов, при том что исследователи не особенно хорошо понимают, как работает система в целом (курсив мой. — Дж. Б.).
Незнание того, как построить дружественный ИИ, не смертельно само по себе… А вот ошибочная убежденность в том, что любой ИИ будет дружественным, — очевидный путь к глобальной катастрофе.
Считать, что ИИ человеческого уровня (УЧИ) будет непременно дружественным, неверно по многим причинам. Такое убеждение становится еще более опасным после того, как интеллект УЧИ начинает стремительно расти, оставляя наш далеко позади, и превращается в ИСИ — искусственный суперинтеллект. Так как же создать дружественный ИИ? Или вы считаете, что можно привить машине «дружелюбие» уже готовому продвинутому ИИ? Юдковски написал и выложил в Интернет трактат размером с книгу, посвященный этим вопросам и озаглавленный «Создание дружественного ИИ: Анализ и дизайн доброжелательных целевых архитектур». Дружественный ИИ — вопрос настолько сложный для понимания и при этом настолько важный, что ставит в тупик даже главного своего поборника, который пишет:
Достаточно одной ошибки в цепи рассуждений, чтобы неожиданно для себя оказаться аж во Внешней Монголии.
Начнем с простого определения. Дружественный ИИ — это ИИ, который оказывает скорее положительное, нежели отрицательное влияние на человечество. Дружественный ИИ имеет собственные цели и предпринимает действия для их достижения. Теоретики описывают успех ИИ в достижении его целей при помощи экономического термина «полезность». Из вводного курса по экономической теории известно, что разумные потребители стараются максимально увеличить полезность, расходуя свои ресурсы таким образом, чтобы получить от них максимальное удовлетворение. В случае ИИ удовлетворение получается от достижения целей, а любое действие, продвигающее ИИ к достижению его целей, характеризуется высокой «полезностью».
Ценности и предпочтения вкупе с удовлетворением от достижения цели можно поместить во встроенное в ИИ определение пользы, назвав его «функцией полезности». Дружественность по отношению к человеку — одна из ценностей, которыми, на наш взгляд, должен обладать ИИ. Поэтому неважно, какие цели ставит перед собой ИИ — от игры в шахматы до управления автомобилем, — защита человеческих ценностей (и человека как такового) должна составлять существенную часть кодекса его поведения.
Надо отметить, что здесь имеется в виду не то дружелюбие, о каком обычно говорят телевизионные проповедники, — хотя и это не повредит. В нашем случае дружественность означает, что ИИ не должен быть враждебно или амбивалентно настроен по отношению к людям никогда, какими бы ни были его цели и сколько бы ступеней самосовершенствования он ни прошел. ИИ должен глубоко понимать нашу природу и не наносить вреда людям даже случайно, даже через непредвиденные последствия своих действий (что нередко происходило в рассказах Азимова в рамках действия Трех законов робототехники). То есть мы не хотим получить ИИ, который выполнил бы наши краткосрочные задачи (пожалуйста, спаси нас от голода) при помощи мер, вредных в долгосрочной перспективе (к примеру, поджарив одновременно всех кур на планете), или таких, против которых мы возражали бы в принципе (убив нас всех после ближайшей же трапезы).
В качестве примера непредвиденных последствий специалист по этике из Оксфордского университета Ник Востром предложил гипотетический «максимизатор производства скрепок». В сценарии Бострома бездумно запрограммированный суперинтеллект, которому в качестве цели было задано производство канцелярских скрепок, делает ровно то, что от него требовалось, без оглядки на человеческие ценности. В результате все идет наперекосяк, поскольку ИСИ «превращает сначала всю Землю, а затем и прилегающие области пространства в фабрики по производству скрепок». Дружественный ИИ сделал бы в подобной ситуации ровно столько скрепок, сколько укладывается в человеческие ценности.
Еще одно непременное качество дружественного ИИ — стремление избежать догматических ценностей. Наши представления о хорошем и плохом изменяются со временем, и любому ИИ, связанному с человеческим благополучием, необходимо будет поспевать за нами в этом отношении. Если бы функция полезности некоего ИИ была ориентирована на предпочтения большинства европейцев в 1700 г. и не корректировалась бы со временем, то и в XXI в. этот ИИ связывал бы человеческое счастье и благополучие с такими архаичными ценностями, как расовое и половое неравенство, рабовладение, туфли с пряжками, а то и что-нибудь похуже. Мы не хотим закладывать в дружественный ИИ конкретные жестко заданные ценности. Мы хотим, чтобы его подвижная шкала ценностей развивалась с нами вместе.
Юдковски придумал для этого развития ценностей специальный термин — когерентная экстраполированная воля (КЭВ). ИИ, снабженный КЭВ, способен предвидеть наши желания. И не просто желания, а те желания, которые были бы у нас, если бы мы «знали больше, думали быстрее и лучше соответствовали бы собственным представлениям о себе».
КЭВ стал бы своеобразным оракулом дружественного ИИ. Ему пришлось бы извлекать из нас наши ценности, как если бы мы были лучше, чем есть на самом деле, и при этом сохранять демократичность и не допускать, чтобы нормы, установленные меньшинством, тиранили все человечество.
Вам кажется, что все это звучит немного… ну, не от мира сего? Для того есть веские причины. Во-первых, я излагаю концепции дружественного ИИ и КЭВ очень схематично, на самом деле об этом написаны целые тома (их можно почитать в Интернете). А во-вторых, тема дружественного ИИ не слишком проработана, но очень оптимистична. Неясно, можно ли изложить концепцию дружественного ИИ в формальном математическом виде, и не исключено, что построить такой ИИ или интегрировать его в перспективные ИИ-архитектуры попросту невозможно. Но если бы это можно было сделать, как выглядело бы наше будущее?
Давайте представим, что через десять или сорок лет проект SyNAPSE фирмы IBM по обратному проектированию мозга принес, наконец, плоды. В результате работ по программе, начавшейся в 2008 г. с гранта DARPA в $30 млн, создана система, копирующая базовые схемы мозга млекопитающего: эта система одновременно воспринимает входные сигналы из тысяч источников, развивает стержневые алгоритмы обработки данных и выдает на выходе восприятие, мысль и действие. Начиналось все с мозга, по размеру примерно соответствующего кошачьему, затем дошло до человеческого — и двинулось дальше.
Чтобы построить такую копию, исследователи проекта SyNAPSE создали «когнитивный компьютер» из тысяч параллельных компьютерных чипов, обрабатывающих информацию. Воспользовавшись достижениями нанотехнологий, они разработали микросхемы размером в один квадратный микрон. Затем объединили множество таких микросхем в углеродный шар размером с баскетбольный мяч и для максимальной производительности погрузили в жидкий металл — соединение галлия с алюминием.
Отметим, что резервуар с металлом представляет собой мощный беспроводной роутер, подключенный к Интернету и связанный с миллионами разбросанных по всей планете сенсорами. Сенсоры принимают сигналы с камер, микрофонов, датчиков давления и температуры, от роботов и природных систем — пустынь, ледников, озер, рек, океанов, тропических лесов. SyNAPSE обрабатывает поступающую информацию, анализируя свойства и взаимосвязи этого громадного массива данных. Функция следует за формой, и нейроморфная, имитирующая живой мозг система самостоятельно создает разум.
В настоящее время SyNAPSE успешно симулирует работу 30 млрд нейронов человеческого мозга и 100 трлн нейронных связей — синапсов. Система уже превзошла скорость работы мозга — приблизительно 1000 трлн операций в секунду.
Впервые в истории человеческий мозг становится вторым по сложности объектом в известной нам Вселенной.
А что же дружественность? Понимая, что «дружественность» должна стать сердцем любой разумной системы, ее создатели встроили алгоритмы ценности и безопасности в каждый из миллионов чипов SyNAPSE. Он дружелюбен до самых глубин, до ДНК. Поэтому теперь, когда когнитивный компьютер становится все более мощным, он начинает принимать решения, значимые для судеб мира, — что делать с ИИ террористических государств, как изменить траекторию летящего к Земле астероида, как остановить стремительное повышение уровня Мирового океана или как ускорить развитие наномедицины, способной справиться с большинством болезней.
Обладая таким глубоким пониманием проблем человечества, SyNAPSE с легкостью определит, что выбрали бы люди, если бы были достаточно могущественными и разумными, чтобы принимать ответственные решения. В будущем мы переживем интеллектуальный взрыв! Мало того, человечество расцветет!
Да будет благословен дружественный ИИ!
Теперь, когда большинство разработчиков и теоретиков ИИ оценивает Три закона робототехники Азимова так, как они того заслуживают, — как инструменты построения сюжета, а не выживания, — дружественный ИИ, возможно, становится наилучшей концепцией, которую может предложить человечество, думая о сохранении своего существования. Но дружественный ИИ еще не создан, а у него уже много различных проблем.
Одна из них — это то, что слишком много организаций в самых разных странах работают над УЧИ и смежными технологиями; они ни за что не договорятся отложить свои проекты до того момента, когда будет создан дружественный ИИ, или включить в свои программы формальный модуль дружественности, если таковой может быть создан. Более того, мало кто из них хотя бы участвует в общественной дискуссии о необходимости дружественного ИИ.
Среди участников гонки за УЧИ можно назвать: IBM (несколько проектов), Numenta, AGIRI, Vicarious, NELL и ACT-R Университета Карнеги-Меллона, SNERG, LIDA, CYC и Google. Можно назвать по крайней мере десяток проектов с менее надежными источниками финансирования: среди них SOAR, Novamente, NARS, AIXItl и Sentience. Сотни других разработок, целиком или частично посвященные УЧИ, проводятся в США и других странах — некоторые из них под покровом тайны, некоторые (в таких странах, как Китай и Израиль) спрятаны за современным «железным занавесом» национальной безопасности. DARPA как открыто, так и тайно финансирует немало ИИ-проектов.
Что, собственно, я имею в виду. Вероятность того, что первый УЧИ будет создан непременно в Исследовательском институте машинного интеллекта MIRI и потому в него будет встроен модуль дружественности, достаточно мала. И вряд ли создатели первого УЧИ будут особенно много думать о таких вопросах, как дружественность. Тем не менее существует несколько способов заблокировать недружественный УЧИ. Президент Института машинного интеллекта Майкл Вассар рассказал мне об образовательной программе для элитных университетов и математических конкурсов. MIRI и еще одна дружественная организация, Центр прикладного разума (CEAR), организовали «тренировочные лагеря разума», в которых надеются обучить будущих потенциальных строителей ИИ и руководителей, определяющих техническую политику, рациональному мышлению. Когда новая элита подрастет, эта наука пригодится им в работе и поможет избежать самых неприятных ловушек ИИ.
Этот план может показаться наивным, но на самом деле MIRI и CEAR нащупали важный фактор ИИ-риска. Тема сингулярности привлекает общественное внимание, и вопросы сингулярности будут попадать в поле зрения все большего числа все более умных людей. Окно возможностей для просвещения народа и информирования о связанных с ИИ рисках потихоньку открывается. Но любой план создания совещательного или руководящего органа по вопросам ИИ уже опоздал с реализацией; некоторых катастроф избежать уже невозможно. Как упоминалось в главе 1, по крайней мере 56 стран занимается в настоящее время разработкой боевых роботов. Утверждают, что в разгар войны в Ираке три дрона SWORDS фирмы Foster-Miller, вооруженных пулеметами, были выведены из боевой зоны после того, как направили оружие против своих. В 2007 г. в Южной Африке роботизированная зенитная пушка убила 9 и ранила 15 солдат в результате инцидента, продолжавшегося одну восьмую долю секунды.
Конечно, это еще не Терминатор, но дальше — больше. Как только появится продвинутый ИИ, особенно если платить за него будет DARPA или аналогичное агентство другой страны, ничто на свете не помешает оснастить им боевых роботов. Более того, роботы могут послужить платформами для реализации машинного обучения, в результате которого и появится ИИ. Когда же появится дружественный ИИ (если это когда-нибудь произойдет), сами подумайте, станут ли частные компании — производители роботов устанавливать его в машины, разработанные для убийства людей? Акционерам это наверняка не понравится.
С дружественным ИИ есть и еще один вопрос: как, собственно, его дружелюбие переживет интеллектуальный взрыв? То есть останется ли дружественный ИИ таковым после того, как его интеллект вырастет в тысячу раз? Юдковски в статьях и выступлениях описывает то, что может при этом произойти, примерно так:
Ганди не хочет убивать людей. Если предложить Ганди пилюлю, которая заставит его пожелать этого, он откажется принимать ее, поскольку знает, что тогда он кого-нибудь убьет, а нынешний Ганди не хочет убивать людей. Из этого, грубо говоря, следует, что разум, достаточно развитый, чтобы точно модифицировать и улучшать себя, стремится остаться в рамках тех мотиваций, с которых начинал.
Лично меня этот тезис не убедил. Если мы не можем знать, как поведет себя разум более сильный, чем разум человека, как мы можем быть уверены, что он сохранит свою функцию полезности или основные представления о морали? Разве не может случиться так, что он, поумнев в тысячу раз, рассмотрит и отвергнет запрограммированное дружелюбие?
Нет, — ответил Юдковски, когда я спросил об этом. — Он станет в тысячу раз более эффективно сохранять свою функцию полезности.
Но что, если при тысячекратном по сравнению с человеческим росте интеллекта произойдет какой-то системный сбой, который мы сегодня не можем даже предугадать? К примеру, у нас с плоскими червями много общей ДНК. Но вряд ли мы прониклись бы их целями и моралью, если бы даже узнали, что много миллионов лет назад именно плоские черви создали нас, наделив собственными ценностями. Согласитесь, очень скоро мы оправились бы от первоначального удивления и продолжили бы делать ровно то, что считали нужным.
«Очень понятно, почему возникают такие подозрения, — заметил Юдковски. — Но создание дружественного ИИ не похоже на обучение или инструктирование человека. У людей уже есть собственные цели, собственные эмоции и собственные средства реализации. У них есть собственная структура для размышлений о моральных вопросах. Внутри нас существует нечто, что внимательно рассматривает каждое поступающее указание и решает, выполнять его или нет. В случае с ИИ вы формируете разум целиком с нуля. Если убрать из ИИ все программные коды, останется девственно чистый компьютер, который не будет ничего делать, потому что делать ему будет нечего.
И все же я сказал: «Если завтра я поумнел бы в тысячу раз по сравнению с собой сегодняшним, то мне кажется, я оглянулся бы на свои сегодняшние заботы с мыслью о том, что "все это пустое". Не верится, что для моего нового тысячесильного разума то, что я ценил вчера, сохранило бы хоть какую-то значимость».
«У вас есть специфическая эмоция "все это пустое", и вы уверены, что у сверхразума она тоже будет, — заметил Юдковски. — Это антропоморфизм. ИИ устроен и работает не так, как вы, и у него нет эмоции типа "все это пустое"».
Но, сказал он, есть одно исключение. Речь идет о человеческом разуме, загруженном в компьютер. Это еще один путь к созданию УЧИ, который иногда путают с обратным проектированием мозга. Обратное проектирование предполагает сначала разобраться до тонкостей в человеческом мозге, а затем представить то, что мозг делает, в виде схем и программ. В конце этого процесса вы получите компьютер, обладающий искусственным интеллектом человеческого уровня. Проект Blue Brain фирмы IBM нацелен на достижение этого результата к началу 2020-х гг.
С другой стороны, загрузка готового разума в компьютер, которую называют также полной эмуляцией мозга, — это моделирование человеческого разума, такого как ваш, на компьютере. В конце этого процесса вы остаетесь при своем мозге (если, конечно, процесс сканирования и переноса мозга не разрушает его, как считают некоторые эксперты), а внутри машины появляется ваша мыслящая и чувствующая копия.
Если бы у вас был сверхразум, который первоначально был копией человеческого мозга, а затем начал самосовершенствоваться и со временем отходил бы все дальше и дальше от оригинала, то такой разум действительно мог бы обернуться против человечества примерно по тем самым причинам, о которых вы говорили, — сказал Юдковски. — Но если говорить о синтетическом ИИ, созданном не на основе человеческого разума, то такого никогда не произойдет, потому что этот разум слишком чужд человеческому. Громадное большинство таких ИИ вполне могли бы вас убить, но не по названным причинам. Все, что вы вообразили, применимо лишь к сверхразуму, исходным материалом для которого послужил человеческий интеллект.
Мне еще предстояло узнать в ходе своих исследований, что многие специалисты оспаривают концепцию дружественного ИИ, исходя из других соображений. На следующий день после встречи с Юдковски я разговаривал по телефону с доктором Джеймсом Хьюзом, заведующим кафедрой философии Тринити-колледжа и исполнительным директором Института этики и новых технологий IEET. Хьюз пытался доказать слабость идеи о том, что функция полезности ИИ не может меняться.
Одна из аксиом для тех, кто говорит о дружественном ИИ, состоит в том, что при достаточно тщательном подходе можно сконструировать сверхразумное существо с набором целей, который затем меняться не будет. Они почему-то игнорируют тот факт, что у нас, людей, имеются фундаментальные цели — секс, пища, убежище, безопасность. Иногда они трансформируются в такие вещи, как желание стать террористом-смертником или жажда получить как можно больше денег, — в общем, в вещи, не имеющие ничего общего с изначальным набором целей, но построенные на его основе в результате серии последовательных шагов, которые мы можем пронаблюдать в собственной голове.
Таким образом, мы способны исследовать свои собственные цели и изменять их. К примеру, мы можем избрать для себя целибат, который полностью противоречит нашей генетической программе. Мысль о том, что сверхразумное существо с пластичным разумом (каким, собственно, и должен обладать ИИ) не будет меняться со временем, попросту абсурдна.
Веб-сайт лаборатории идей Хьюза, IEET, показывает, что их критика относится в равной степени ко всем; их тревожат не только опасности ИИ, но и опасности нанотехнологий, биотехнологий и других рискованных новинок. Хьюз считает, что сверхразум опасен, но шансы на его скорое появление невелики. Однако он настолько опасен, что связанный с его появлением риск должен рассматриваться в одном ряду с неминуемыми катастрофами, такими как повышение уровня Мирового океана и прилет гигантского астероида (то и другое относится к первой категории по шкале рисков Уоррена Льюиса, о которой шла речь в главе 2). Хьюз согласен и с другим моим утверждением: первые шаги развития ИИ на пути к сверхразуму (Хьюз называет его «богом в ящике») тоже опасны.
«MIRI просто закрывает на это все глаза, потому что они сосредоточены на том, как бог выскочит из ящика. А когда бог выскакивает из ящика, человеческие существа уже ничего не могут предпринять, чтоб изменить ход вещей. Бог окажется либо хорошим, либо плохим, и к этому сводится подход MIRI. Позаботьтесь лучше о том, чтобы это был хороший бог!
Мысль о боге, который выскакивает из ящика, напомнила мне еще об одном незаконченном деле — об эксперименте «ИИ в ящике». Напомню вкратце. Елиезер Юдковски играл в этом эксперименте роль ИСИ, заключенного в компьютере без всякой физической связи с внешним миром (ни проводов, ни роутеров, ни беспроводной связи). Цель Юдковски: выбраться из «ящика». Цель Привратника: удержать его в заточении. Игра велась в чате, переговоры игроков шли в текстовой форме. Каждый сеанс продолжался не более двух часов. Вариант полного молчания, которое утомило бы Привратника до смерти и вынудило к сдаче, не был запрещен, но никогда не использовался.
В 2002–2005 гг. Юдковски сыграл против пяти Привратников. Трижды он (вернее, его герой-ИСИ) «сбежал» и дважды остался узником ящика. Как ему удалось уйти? Я вычитал в Сети, что одним из правил эксперимента была секретность переписки между ИСИ и Привратником, так что ответа на этот вопрос я не знал. Но почему такая секретность?
Поставьте себя на место Юдковски. Если у вас в роли «ИИ в ящике» есть какие-то хитроумные способы бегства, зачем же открывать их всем подряд и таким образом предупреждать следующего Привратника? А если вам захочется повторить уже использованный метод? А во-вторых, если вы пытаетесь изобразить силу убеждения существа в тысячу раз более умного, чем самый умный человек, то вам, возможно, захочется слегка выйти за рамки социально приемлемого диалога. А может быть, и не слегка. И кто захочет делиться этим со всем миром?
Эксперимент «ИИ в ящике» важен потому, что одним из вероятных последствий деятельности сверхразума без вмешательства человека является уничтожение человечества — и противоборство с ним человечество, судя по всему, выиграть не сможет. Тот факт, что Юдковски в роли ИИ выиграл три раза из пяти, еще сильнее встревожил и заинтриговал меня. Может быть, он гений, но он, в отличие от ИСИ, наверняка не в тысячу раз умнее самого умного человека. И вообще, дурному или безразличному ИСИ достаточно всего один раз выбраться из пресловутого ящика.
Кроме того, эксперимент «ИИ в ящике» заинтриговал меня еще и тем, что, по существу, это вариант старого доброго теста Тьюринга. Этот тест, разработанный в 1950 г. математиком, компьютерщиком и участником взлома немецких шифров во время Второй мировой войны Аланом Тьюрингом, предназначен для определения разумности машины. В этом тесте судья задает компьютеру и человеку письменные вопросы, и если по ответам он не в состоянии определить, кто из его собеседников — человек, а кто — компьютер, то компьютер выигрывает.
Но есть одна хитрость. Тьюринг понимал, что мышление, как и разум, — скользкая тема. И тому и другому сложно дать определение, хотя мы без проблем узнаем то и другое при встрече. Чтобы пройти тест Тьюринга, ИИ не обязательно должен думать как человек, потому что откуда кому бы то ни было знать, как именно он думает? Однако ему необходимо убедительно притвориться, что он думает как человек, и выдавать на все вопросы человекоподобные ответы. Сам Тьюринг называл свой тест «имитационной игрой». Он отвергал возражения критиков относительно того, что машина, возможно, вовсе не будет думать по-человечески. Он писал:
Разве машины не могут выполнять некое действие, которое следует описывать как мышление, но которое сильно отличается от того, что делает человек?
Иными словами, он возражает против утверждения, которое следует из эксперимента с «китайской комнатой» Джона Сёрля: если машина не думает по-человечески, она не разумна. Большинство экспертов, с которыми мне довелось общаться, согласны с Тьюрингом. Если ИИ поступает разумно, кому какое дело, как выглядят его программы?
Однако существует по крайней мере две серьезные причины интересоваться этим вопросом. Прозрачность «мыслительного» процесса ИИ хотя бы до того момента, когда он уйдет далеко вперед и будет уже недоступен нашему пониманию, необходима для нашего выживания. Если мы хотим попытаться внушить ИИ дружелюбие или любые другие моральные качества или установить некие предохранители, необходимо до тонкостей понимать, как он работает, прежде чем он сможет модифицировать себя. После начала этого процесса наши вводные потеряют смысл. Кроме того, если когнитивная архитектура ИИ будет повторять архитектуру человеческого мозга или компьютерной копии человеческого мозга, она, возможно, будет менее чуждой, чем разработанная «с нуля» архитектура ИИ. Но специалисты по компьютерам ожесточенно спорят, будет ли такая связь с человечеством полезна, решит она проблемы или только создаст новые.
Ни одному компьютеру до сих пор не удалось пройти тест Тьюринга, хотя каждый год проводится конкурс на премию Лебнера, которую учредил филантроп Хью Лебнер для создателей компьютера, который пройдет этот тест. Но пока главный приз в $100 000 остается невостребованным, ежегодно $7000 выплачивается создателю «наиболее человекоподобного компьютера». Несколько последних лет этот приз достается чатботам — роботам, созданным для поддержания разговора (без особого успеха). Марвин Мински, один из пионеров в области искусственного интеллекта, предложил $100 тому, кто уговорит Лебнера отозвать свою премию. По мнению Мински, это «избавило бы нас от ужаса этой отвратительной и бесполезной ежегодной шумихи».
Как же Юдковски удалось уговорить свою «охрану»? Надо сказать, у него был богатый выбор кнутов и пряников. Он мог обещать богатство, излечение от болезни, изобретения, способные полностью покончить с голодом и нуждой. Решительное превосходство над врагами. Со стороны кнута можно оперировать надежным инструментом социального инжиниринга — страхом. Что, если в этот самый момент ваши враги готовятся применить против вас собственный ИСИ? В реальной жизненной ситуации это вполне может сработать — но как насчет ситуации искусственной, такой как в эксперименте «ИИ в ящике»?
Когда я задал Юдковски вопрос о его методах, он рассмеялся, потому что все ожидают каких-то дьявольски хитрых решений — каких-то логических фокусов, тактических ходов по типу «дилеммы заключенного», может быть, чего-то тревожного. На самом деле происходило все совершенно не так.
«Я шел трудным путем», — сказал Юдковски.
В трех успешных попытках, сказал он мне, он просто пресмыкался, упрашивал и разглагольствовал. Привратники в конце концов выпускали его и оплачивали проигрыш. А те два раза, когда ему не удалось вырваться, он тоже умолял. Ощущения у него после этого были не самые приятные, и он поклялся никогда больше не повторять этот эксперимент.
Покидая жилище Юдковски, я понял, что он не сказал мне всей правды. Какие просьбы могут подействовать на человека, который решительно настроен не поддаваться на уговоры? Неужели он мог сказать: «Спаси меня, Елиезер Юдковски, от публичного унижения! Спаси меня от боли поражения!» Или, может, Юдковски как человек, посвятивший свою жизнь разоблачению опасностей ИИ, мог договориться со своим противником о мета-сделке. О сделке, связанной с самим экспериментом «ИИ в ящике». Он мог, к примеру, сказать: «Помоги мне показать миру, что человек ненадежен и нельзя доверять ему контроль за ИИ!»
Конечно, такой вариант хорошо сработал бы на пропаганду и привлек бы немало сторонников. Но никаких уроков об обращении с ИИ в реальном мире из этой ситуации извлечь было бы невозможно.
Вернемся к дружественному ИИ. Если создание такого ИИ представляется маловероятным, означает ли это, что интеллектуальный взрыв неизбежен? Неужели ИИ обязательно окажется на свободе? Если вы, как и я, всегда считали, что компьютеры сами по себе инертны и не создают проблем, вас это удивит. Зачем, спрашивается, ИИ будет делать что бы то ни было, тем более умолять, угрожать или убегать?
Чтобы прояснить этот вопрос, я разыскал разработчика ИИ Стивена Омохундро, президента компании Self-Aware Systems.
Сам он физик, классный программист и занят разработкой научного подхода к пониманию интеллекта, превышающего человеческий. Он утверждает, что обладающие самосознанием самосовершенствующиеся ИИ-системы будут мотивированы на совершение неожиданных и даже странных действий. По мнению Омохундро, робот, разработанный для игры в шахматы, при достаточном уровне интеллекта может захотеть построить космический корабль
