Еще не просохли чернила в великом тексте Тьюринга «Вычислительные машины и разум», как научные фантасты и футурологи уже начали оценивать перспективы, связанные с думающими машинами. Порой они представляли эти машины как безвредных или даже благородных персонажей — вроде жужжащего и щебечущего R2-D2 и андроида с британскими манерами C-3PO из «Звездных войн». Но порой машины оказывались гораздо более зловещими и даже готовились уничтожить человечество, как в «Терминаторе», или поработить людей, заключив их в виртуальную реальность, как в «Матрице».

Во всех этих случаях представление об ИИ больше говорит о тревогах сценаристов или о возможностях отдела спецэффектов, чем о реальных исследованиях искусственного интеллекта. Создать его оказалось гораздо труднее, чем предполагал Тьюринг, даже несмотря на то, что чистая вычислительная мощность наших компьютеров, несомненно, превзошла его ожидания.

В главе 3 я описал некоторые причины такого медленного прогресса. В 1970-е и начале 1980-х исследованиям в области искусственного интеллекта мешала концентрация на системах, основанных на правилах. Но такие системы оказались неверным путем. Они были очень хрупкими. Любое небольшое изменение в их рабочих допущениях требовало переписывания программы. Они не могли справиться с неопределенностью или противоречивыми данными. Наконец, они не были прозрачными с научной точки зрения; нельзя было математически доказать, что они будут вести себя определенным образом, и нельзя было определить, что ремонтировать, когда они этого не делали. Не все исследователи ИИ возражали против отсутствия прозрачности. В то время в этом направлении появилось разделение на «аккуратистов» (тех, кто хотел видеть прозрачные системы с гарантированным поведением) и «нерях» (тех, кто просто хотел, чтобы системы работали). Я всегда был «аккуратистом».

Мне посчастливилось прийти в эту сферу в тот момент, когда все было готово к новому подходу. Байесовские сети были вероятностными; они могли справиться с миром, полным противоречивых и неопределенных данных. В отличие от систем, основанных на правилах, они были модульными и легко внедрялись на платформе распределенных вычислений, что обеспечивало быструю работу. Наконец, для меня (и других «аккуратистов») было важно, что байесовские сети работали с вероятностями математически надежным способом, т. е. мы знали: если что-то шло не так, ошибка была в программе, а не в наших рассуждениях.

Но даже со всеми этими преимуществами байесовские сети все еще не понимали причинно-следственных связей. Они устроены так, что информация там течет в обоих направлениях, причинном и диагностическом: дым увеличивает вероятность возгорания, а пожар — вероятность возникновения дыма. Фактически байесовская сеть не способна отличить «причинное направление». Погнавшись за этой аномалией — чудесной аномалией, как выяснилось потом, — я отвлекся от машинного обучения и перешел к изучению причинности. Я не мог смириться с мыслью, что будущие роботы не смогут общаться с нами на нашем родном причинно-следственном языке. Оказавшись в стране причинности, я, естественно, увлекся обширным спектром других наук, в которых каузальная асимметрия имеет первостепенное значение.

И вот в последние 25 лет я держался вдали от родной страны автоматизированного мышления и машинного обучения. Тем не менее издалека мне хорошо видны современные тенденции и модные направления.

В последние годы наиболее заметный прогресс в области ИИ связан с так называемым глубоким обучением, в котором используются такие методы, как сверточные нейронные сети. Эти сети не следуют правилам вероятности; они не решают проблему неопределенности ни строго, ни прозрачно. И еще в меньшей степени они подразумевают сколько-нибудь явное представление среды, в которой действуют. Вместо этого архитектура сети способна развиваться сама по себе. Закончив обучение новой сети, программист понятия не имеет, какие вычисления она выполняет и почему они работают. Если сеть выходит из строя, непонятно, как это исправить.

Возможно, прототипическим примером здесь будет AlphaGo, программа на основе сверточной нейронной сети, которая играет в древнюю азиатскую игру го. Ее разработала DeepMind, дочерняя компания Google. Го всегда считалась самой трудной для ИИ среди всех человеческих игр с полной информацией. Хотя компьютеры обыграли людей в шахматы еще в 1997 году, даже в 2015 году они еще не могли тягаться с профессиональными игроками самого низкого уровня. Сообщество игроков в го считало, что до настоящего сражения людей с компьютерами должны пройти десятилетия.

Это изменилось почти в мгновение ока с появлением AlphaGo. Большинство игроков в го впервые услышали о программе в конце 2015 года, когда она победила человека-профессионала со счетом 5:0. В марте 2016 года AlphaGo выиграла у Ли Седола, долгие годы считавшегося сильнейшим игроком среди людей, со счетом 4:1. Через несколько месяцев программа провела 60 онлайн-игр с лучшими игроками, не проиграв ни одной, а в 2017 году официально завершила карьеру после победы над действующим чемпионом мира Ке Цзе. Партия, проигранная Седолу, так и останется единственной, в которой она уступила человеку.

Все это очень впечатляет, и результаты не оставляют сомнений: глубокое обучение работает для определенных задач. Но это полная противоположность прозрачности. Даже программисты AlphaGo не могут сказать вам, почему эта программа играет так хорошо. По опыту они знали, что глубокие сети успешно решают задачи компьютерного зрения и распознавания речи. В то же время наше понимание глубокого обучения полностью эмпирическое и не дает никаких гарантий. В начале команда AlphaGo не могла предвидеть, что программа победит лучшего из игроков-людей через год, два или пять лет. Они просто экспериментировали, и все получилось.

Кто-то скажет, что прозрачность на самом деле не нужна. У нас нет детального понимания того, как работает человеческий мозг, и все же он работает хорошо, и мы прощаем себе эту скудость понимания. В таком случае, почему не использовать системы глубокого обучения, чтобы создать новый вид интеллекта, не понимая, как он работает? Я не могу утверждать, что это неверный подход. В настоящий момент «неряхи» взяли на себя инициативу. Тем не менее скажу, что лично мне не нравятся непрозрачные системы, и поэтому я не собираюсь их исследовать.

Оставив в стороне мои предпочтения, к аналогии с человеческим мозгом можно добавить еще один фактор. Да, мы прощаем себе скудное понимание работы человеческого мозга, но все еще можем общаться с другими людьми, учиться у них, наставлять их и мотивировать на нашем родном языке причин и следствий. Мы делаем это, потому что наш мозг работает так же, как и у них. Но если все наши роботы будут такими же непрозрачными, как AlphaGo, мы не сможем вести с ними содержательные разговоры, а это будет весьма прискорбно.

Когда мой домашний робот включает пылесос, пока я еще сплю, и я говорю ему: «Не надо было меня будить», я хочу, чтобы он понял: не стоило пылесосить. Но я не хочу, чтобы он интерпретировал эту жалобу как указание никогда больше не пылесосить наверху. Он должен понимать то, что прекрасно понимаем мы с вами: пылесосы шумят, шум будит людей и некоторые люди этому не рады. Другими словами, наш робот должен понимать причинно-следственные связи — по сути, контрфактивные отношения вроде закодированных во фразе «не надо было».

Действительно, обратите внимание на богатое содержание этого короткого предложения с инструкцией. Нам не нужно сообщать роботу, что то же самое относится к уборке пылесосом внизу или где-либо еще в доме, но не когда я бодрствую или отсутствую и не в случае, если пылесос оснащен глушителем и т. д. Может ли программа глубокого обучения понять всю полноту этой инструкции? Вот почему я не удовлетворен очевидно прекрасной производительностью непрозрачных систем. Прозрачность обеспечивает эффективное общение.

Но один аспект глубокого обучения меня все-таки интересует: теоретические ограничения этих систем и, в первую очередь, ограничения, проистекающие из их неспособности выйти за пределы первого уровня на Лестнице Причинности. Это ограничение не препятствует работе AlphaGo в узком мире игры го, поскольку описание доски вместе с правилами игры составляет адекватную причинную модель для мира го. Тем не менее это препятствует системам обучения, которые действуют в средах, управляемых насыщенными сетями причинных сил, но имея при этом доступ только к поверхностным их проявлениям. Медицина, экономика, образование, климатология и социальная сфера — типичные примеры таких сред. Подобно узникам в знаменитой пещере Платона, системы глубокого обучения исследуют тени на стене и учатся точно предсказывать их движения. Им не хватает понимания того, что наблюдаемые тени — лишь проекции трехмерных объектов, движущихся в трехмерном пространстве. Сильный ИИ требует этого понимания.

Исследователи глубокого обучения знают об этих основных ограничениях. Так, экономисты, использующие машинное обучение, отметили, что их методы не отвечают на ключевые вопросы нынешнего времени, положим не позволяют оценить, как подействуют неопробованные пока методы и меры. Типичные примеры здесь — новые принципы ценообразования, субсидии, изменение минимальной заработной платы. С технической точки зрения методы машинного обучения сегодня обеспечивают эффективный способ перейти от анализа конечных выборок к распределениям вероятностей, но нам еще только предстоит перейти от последних к причинно-следственным связям.

Когда мы начинаем говорить о сильном ИИ, причинные модели превращаются из роскоши в необходимость. Для меня сильный ИИ — это машина, которая может размышлять о своих действиях и извлекать уроки из совершенных ошибок. Она должна понимать высказывание «Надо было поступить иначе» независимо от того, говорит ли это ей человек или она сама приходит к такому выводу. Контрфактивная интерпретация этого утверждения выглядит так: «Я сделал X = X, и результат был Y = Y. Но если бы я действовал иначе, скажем, X = X¢, то результат был бы лучше, возможно, Y = Y¢». Как мы уже увидели, оценка таких вероятностей была полностью автоматизирована при наличии достаточного объема данных и адекватно обозначенной причинной модели.

Более того, я думаю, что очень важной целью для машинного обучения будет более простая вероятность P (Y_X = X₁ = Y¢ | X = X), когда машина наблюдает X = X, но не результат Y, а затем спрашивает о результате альтернативного события X = X¢. Если машина способна вычислить эту величину, то это преднамеренное действие можно рассмотреть как наблюдаемое событие (X = x) и спросить: «А если я поменяю решение и сделаю вместо этого X = X¢?» Это выражение математически эквивалентно эффекту лечения на уже пролеченных (упоминается в главе 8), и у нас есть масса результатов, которые показывают, как его оценить.

Намерение — очень важная составляющая в процессе принятия решений. Если бывший курильщик чувствует позыв зажечь сигарету, ему стоит очень хорошо подумать о том, какие причины стоят за этим намерением и спросить, не приведет ли противоположное действие к лучшему исходу. Способность формировать собственное намерение и использовать его как доказательство в причинно-следственных рассуждениях — это уровень осознанности (если не самосознания), которого не достигла ни одна из известных мне машин. Я хотел бы иметь возможность ввести машину в искушение и увидеть, как она говорит: «Нет».

Обсуждение намерения неизбежно ведет к еще одной проблеме, стоящей перед сильным искусственным интеллектом, — проблеме свободы воли. Если мы попросим машину заиметь намерение сделать X = x, осознать его и выбрать вместо этого X = x¢, то представляется, что мы попросим ее проявить свободную волю. Но как у робота может быть свобода воли, если он просто следует инструкциям, записанным в программе?

Философ Джон Сёрл из Калифорнийского университета в Беркли назвал проблему свободы воли «скандалом в философии» отчасти потому, что со времен античности не произошло никакого прогресса в ее разработке, и отчасти потому, что мы не можем отмахнуться от нее как от оптической иллюзии. Вся наша концепция «себя» предполагает присутствие такой вещи, как свобода выбора. Например, нет никакого очевидного способа примирить мое яркое, безошибочное ощущение возможности (скажем, прикоснуться или не прикоснуться к носу) с пониманием реальности, которая предполагает каузальный детерминизм: все наши действия вызваны электрическими нейронными сигналами, идущими от мозга.

В то время как многие философские проблемы со временем исчезли в свете научного прогресса, свободная воля упрямо остается загадкой, такой же свежей, какой она казалось Аристотелю и Маймониду. Более того, хотя основания для свободного волеизъявления порой находили в сфере духовности или теологии, эти объяснения не подошли бы для программируемой машины. Поэтому появление свободной воли у роботов непременно будет результатом ухищрений — по крайней мере, такова догма.

Не все философы считают, что между свободной волей и детерминизмом действительно есть столкновение. Группа под названием «совпаденцы», к которой я причисляю с себя, считает это лишь очевидным столкновением между двумя уровнями описания: нейронным, на котором процессы кажутся детерминистскими (за исключением квантового индетерминизма), и когнитивным, на котором у нас есть живое ощущение возможностей. Такие явные несоответствия не столь уж редки в науке. Например, уравнения физики обратимы во времени на микроскопическом уровне, но кажутся необратимыми на макроскопическом уровне описания; дым никогда не возвращается в дымоход. Но это поднимает новые вопросы: если допустить, что свобода воли является (или может быть) иллюзией, почему для нас, людей, так важно иметь эту иллюзию? Почему эволюция приложила усилия, чтобы наделить нас этой концепцией? Уловка это или нет, должны ли мы запрограммировать следующее поколение компьютеров, чтобы создать эту иллюзию? Зачем? Какие вычислительные преимущества это влечет за собой?

Я думаю, что для решения этой вечной загадки — проблемы примирения свободы воли с детерминизмом — нужно понять преимущества иллюзии свободы. Проблема исчезнет на наших глазах, если мы наделим детерминированную машину такими же преимуществами.

Вместе с этой загадкой о функции мы также должны справиться с задачей симуляции. Если нейронные сигналы от мозга запускают все наши действия, то перед ним стоит вечная задача постоянно определять одни действия как «волевые» или «намеренные», а другие — как «непреднамеренные». Что именно представляет собой этот процесс маркировки? Какая нейронная связь обеспечит тому или иному сигналу звание «намеренного»? Во многих случаях добровольные действия распознаются по следу, который они оставляют в кратковременной памяти, причем этот след отражает цель или мотивацию. Например: «Почему ты это сделала?» — «Хотела произвести на тебя впечатление». Или, как невинно ответила Ева: «Змей обольстил меня, и я ела». Но во многих других случаях намеренное действие совершается, однако у него нет очевидных причин или мотивов. Рационализация действий может быть реконструктивным процессом, который происходит уже после действия. Так, футболист может объяснить, почему он решил передать мяч Джо, а не Чарли, но редко бывает, чтобы эти причины сознательно запускали действие. В пылу игры тысячи входных сигналов соревнуются за внимание игрока. Важнейшее решение состоит в том, какому сигналу дать приоритет, а причины трудно вспомнить и сформулировать.

Таким образом, все исследователи искусственного интеллекта пытаются ответить на два вопроса — о функции и симуляции, причем первый ведет за собой второй. Как только мы поймем, какую вычислительную функцию выполняет свободная воля в нашей жизни, мы приступим к оснащению машин такими же функциями. Это станет инженерной проблемой, хотя и весьма сложной.

Для меня четко выделяются некоторые аспекты функционального вопроса. Иллюзия свободы воли дает нам возможность говорить о намерениях и обдумывать их рационально, вероятно, используя контрфактивную логику. Скажем, тренер удаляет нас с футбольного матча и говорит: «Надо было пасовать Чарли». Подумайте обо всех сложных значениях, заключенных в этих восьми словах.

Во-первых, цель этого указания «надо было» — быстро передать ценную информацию от тренера игроку: в будущем, столкнувшись с подобной ситуацией, выбирайте действие B, а не действие A. Но похожих ситуаций слишком много, чтобы их перечислить, и они вряд ли известны даже самому тренеру. Вместо того чтобы перечислять особенности этих похожих ситуаций, тренер указывает на действия игрока, которые отражают его намерения во время принятия решения. Объявляя действие неудачным, тренер просит игрока определить программу, которая привела к его решению, а затем переустановить в ней приоритет, чтобы «пасовать Чарли» стало предпочтительным действием. В этой инструкции есть глубокая мудрость, потому что кто, если не сам игрок, знает свою программу? Это безымянные нейронные пути, которые неведомы тренеру или любому внешнему наблюдателю. Просьба к игроку совершить действие, отличное от предпринятого, означает, что поощряется анализ намерений, подобный описанному выше. Таким образом, обдумывание намерений позволяет преобразовать сложные каузальные указания в простые.

Соответственно, я бы предположил, что команда роботов лучше бы играла в футбол, если бы их запрограммировали общаться так, словно у них есть свобода воли. Независимо от того, насколько техничны отдельные роботы, результативность их команды улучшится, если они смогут разговаривать друг с другом, как если бы они были не заранее запрограммированными роботами, а автономными агентами, полагающими, что у них есть выбор.

Хотя пока неизвестно, улучшит ли иллюзия свободы воли взаимодействие роботов с роботами, в плане взаимодействия роботов с людьми неуверенности гораздо меньше. Для естественного общения с людьми сильному ИИ, безусловно, потребуется понимать вокабуляр возможностей и намерений, и, следовательно, имитировать иллюзию свободной воли. Как я объяснил выше, им также выгодно самим «верить» в свою свободную волю — чтобы иметь возможность осознать собственное намерение и изменить действие.

Способность рассуждать о своих убеждениях, намерениях и желаниях представляет серьезный вызов для исследователей ИИ и определяет понятие свободы действий. Однако философы изучают эту способность как часть классической проблемы самосознания. Такие вопросы, как «Могут ли машины иметь сознание?» или «Чем программа со свободой действий отличается от обычной программы?», занимали и занимают лучшие умы многих поколений, и я не буду притворяться, что готов дать на них полные ответы. Тем не менее я считаю, что алгоритмизация контрфактивного — важный шаг к пониманию этих вопросов и к превращению сознания и действия в вычислительную реальность. Методы, описанные для оснащения машины символическим представлением окружающей среды и способностью представить гипотетическое возмущение этой среды, могут быть расширены, чтобы включить в среду саму машину. Ни одна машина не способна обработать полную копию собственного программного обеспечения, однако ей можно дать схему его основных компонентов. Другие компоненты затем станут рассуждать об этой схеме и имитировать состояние самосознания.

Чтобы создать ощущение свободы действий, мы также должны оснастить этот программный пакет памятью для записи прошлых активаций, на которые он будет ссылаться, когда его спросят: «Почему ты это сделал?» Действия, которые проходят через определенные паттерны при активации пути, получат аргументированные объяснения, например: «Потому что альтернатива оказалась менее привлекательной». Другие ответы будут бесполезными или уклончивыми: «Хотел бы я знать почему» или «Потому что ты меня так запрограммировал».

Подводя итог, я считаю, что программный пакет, который даст мыслящей машине преимущества свободы воли, будет состоять как минимум из трех частей: из причинной модели мира, причинной модели собственного программного обеспечения, пусть и поверхностной, и памяти, в которой будет записано, как намерения в ее уме соответствуют событиям во внешнем мире.

Возможно, именно мы сами начинаем понимать причины в раннем детстве. У нас в сознании присутствует что-то вроде генератора намерений, который говорит нам, что мы должны предпринять действие X = x. Но дети любят экспериментировать — бросать вызов родителям, учителям и даже собственным изначальным намерениям — и делать что-то новое, просто для удовольствия. Полностью осознавая, что мы должны сделать X = x, мы игриво делаем X = x¢. Потом мы смотрим, что происходит, повторяем процесс и ведем отчетность о том, насколько хорош наш генератор намерений. Наконец, когда мы начинаем настраивать собственное программное обеспечение, именно тогда мы и берем на себя моральную ответственность за свои действия. Эта ответственность выступает иллюзией на уровне нейронной активации, но не на уровне программного обеспечения самосознания.

Вдохновленный этими возможностями, я считаю, что сильный ИИ с пониманием причин и способностями к самостоятельным действиям — это реально. И отсюда вытекает вопрос, который писатели-фантасты задают с 1950-х годов: стоит ли нам волноваться? Является ли сильный ИИ ящиком Пандоры, который мы не должны открывать?

Недавно публичные персоны вроде Илона Маска и Стивена Хокинга заявили, что у нас есть причины беспокоиться. Маск написал в «Твиттере», что ИИ «потенциально опаснее ядерного оружия». В 2015 году на веб-сайте Джона Брокмана Edge.org был задан ежегодный вопрос, и он выглядел так: «Что вы думаете о машинах, которые думают?». На него дали 186 вдумчивых и провокационных ответов, которые потом были собраны в книге под названием «Что думать о машинах, которые думают» (What to Think About Machines That Think).

Намеренно расплывчатый вопрос Брокмана подразделяется как минимум на пять связанных между собой:

1. Мы уже создали мыслящие машины?

2. Можем ли мы создать мыслящие машины?

3. Будем ли мы создавать мыслящие машины?

4. Стоит ли создавать мыслящие машины?

И наконец, незаданный вопрос, который лежит в основе наших тревог:

5. Можем ли мы создать машины, способные отличать добро и зло?

Ответ на первый вопрос будет отрицательным, но я полагаю, что на все остальные можно ответить утвердительно. Мы точно еще не создали машины, которые думают, интерпретируя мир как люди. До этого момента реально всего лишь симулировать человеческое мышление в узко определенных областях, где есть только самые примитивные каузальные структуры. Для них действительно удается создавать машины, которые превосходят людей, но это не должно удивлять, ведь в этих областях вознаграждается единственная вещь, которую компьютеры делают хорошо, а именно вычисления.

Ответ на второй вопрос почти точно положительный, если определять способность думать как способность пройти тест Тьюринга. Я утверждаю это на основании того, что мы извлекли из мини-теста Тьюринга. Умение отвечать на запросы на всех трех уровнях Лестницы Причинности создает основу для «самосознающего» ПО, которое позволяет машине думать о своих намерениях и размышлять о своих ошибках. Алгоритмы для ответа на каузальные и контрфактивные запросы уже существуют (во многом благодаря моим студентом), и чтобы их внедрить, не хватает только трудолюбивых исследователей искусственного интеллекта.

Третий вопрос, конечно, зависит от событий в человеческой истории, которые трудно предсказать. Но исторически люди редко отказывались от того, чтобы создавать или практиковать вещи, если это позволяет развитие техники. Отчасти это объясняется тем, что мы не в состоянии узнать, на что способны наши технологии, пока не используем их на практике, будь то клонирование животных или отправка людей на Луну. Однако поворотным пунктом в этом процессе стал взрыв атомной бомбы: многие люди считают, что эту технологию лучше было бы не создавать.

Хороший пример того, как ученые отказались от вполне возможного на практике в послевоенный период, подала Асиломарская конференция 1975 года о рекомбинации ДНК — новой технологии, которая освещалась в СМИ в весьма апокалиптических тонах. Ученым, работающим в этой области, удалось прийти к консенсусу относительно разумных методов обеспечения безопасности, и достигнутое ими тогда согласие сохранялось в течение следующих четырех десятилетий. Сейчас рекомбинантная ДНК — обычная зрелая технология.

В 2017 году Институт будущего жизни (Future of Life Institute) организовал в Асиломаре похожую конференцию об искусственном интеллекте, где на месте было достигнуто соглашение о 23 принципах для будущих исследований «полезного ИИ». Хотя большинство из собранных в нем указаний не относится к темам, обсуждаемым в этой книге, рекомендации по этике и ценностям определенно достойны внимания. Например, рекомендация 6: «Системы ИИ должны быть безопасными и надежными в течение всего срока их эксплуатации, и это должно быть верифицируемо». Или рекомендация 7: «Если система ИИ причиняет вред, должна существовать возможность установить причину», — из которой ясно, как важна прозрачность. Рекомендация 10: «Системы ИИ с высокой степенью автономности должны быть разработаны таким образом, чтобы их цели и поведение были согласованы с человеческими ценностями на всем протяжении работы» — в предложенной формулировке выглядит довольно расплывчато, но ей можно было бы придать смысл на практике, если бы от этих систем требовалась способность заявлять о намерениях и сообщать людям о причинах и следствиях.

Мой ответ на четвертый вопрос тоже положительный, он основан на ответе на пятый вопрос. Я верю, что мы научимся создавать машины, которые смогут отличать добро от зла, по крайней мере так же надежно как люди и, надеюсь, даже лучше. Первое требование к этичной машине — способность размышлять над собственными действиями, что подпадает под анализ контрфактивных суждений. Как только мы запрограммируем самосознание, пусть и ограниченное, эмпатия и справедливость последуют за ним, поскольку они основаны на тех же вычислительных принципах, когда в уравнение добавляется еще один агент.

Между причинным подходом к созданию этичного робота и подходом, который изучается и постоянно пересказывается в научной фантастике с 1950-х годов — законами робототехники Азимова, — существует принципиальное различие. Айзек Азимов предложил три абсолютных закона, начиная со следующего: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред». Но, как неоднократно доказывала научная фантастика, законы Азимова всегда приводят к противоречиям. Для ученых, занимающихся искусственным интеллектом, это неудивительно: системы, основанные на правилах, никогда не работают без сбоев. Но отсюда не следует, что создать морального робота невозможно. Просто подход здесь не может быть предписывающим и основанным на правилах. Отсюда следует, что мы должны обеспечить мыслящие машины теми же когнитивными способностями, которые есть у нас, включая эмпатию, долгосрочное прогнозирование и сдержанность, а затем позволить им принимать собственные решения.

Как только мы создадим робота с моральными принципами, апокалиптические видения постепенно перестанут нас пугать. Нет причины отказываться от создания машин, которые будут лучше нас отличать добро и зло, сопротивляться искушениям, признавать вину и заслуги. На этом этапе мы, подобно шахматистам и игрокам в го, даже начнем учиться у собственных творений. Мы сможем положиться на наши машины, когда нам понадобится ясно и причинно обусловленное чувство справедливости. Мы поймем, как работает наше собственное программное обеспечение, обеспечивающее свободу воли, и как ему удается скрывать от нас свои секреты. Такая мыслящая машина была бы прекрасным спутником для нашего биологического вида и действительно могла бы считаться первым и лучшим подарком человечеству со стороны искусственного интеллекта.