Мы уже исследовали вопрос о том, как может машина понять наши цели, принять их и придерживаться их как своих собственных. Но кто такие “мы”? О чьих целях мы, собственно, говорим? Будет ли это один человек или группа людей, кто станет выбирать цели для будущего сверхразума, и это при том, что существует колоссальная пропасть между целями Адольфа Гитлера, папы Франциска и Карла Сагана? Или существуют какие-то цели, которые могут считаться хорошим компромиссом для всего человечества?

По моему мнению, эта этическая проблема вместе с проблемой о приведении целей в соответствие являются принципиальными, и они должны быть решены до появления сверхинтеллекта. С одной стороны, откладывать работу над этическими проблемами до того момента, как будет создан сверхинтеллект с согласованными целями, безответственно и чревато ужасными последствиями. Безупречно послушный сверхинтеллект, чьи цели автоматически приводятся в соответствие с целями его владельца-человека, будет похож на оберштурмбаннфюрера нацистского CC Адольфа Эйхмана на стероидах: при отсутствии морального компаса или воспитания как такового он будет достигать целей своего хозяина с безжалостной устремленностью, какими бы они ни были. С другой стороны, только если мы решим проблему с приведением целей в соответствие, мы сможем насладиться роскошью спора о том, какие цели выбирать. Теперь давайте погрузимся в эту роскошь.

С незапамятных времен философы мечтали о создании этики (принципов, которые указывают нам, как себя вести) с нуля, с использованием только неоспоримых принципов и логики. Увы, тысячу лет спустя единственный консенсус, к которому мы смогли прийти, – это отсутствие консенсуса. Например, пока Аристотель придавал особое значение добродетели, Иммануил Кант делал акцент на долге, а прагматики – на огромном счастье для большинства. Из исходных принципов, которые он называл “категорическими императивами”, Кант извлек выводы, с которыми не согласны многие современные философы: что мастурбация хуже самоубийства, что гомосексуализм отвратителен, что ублюдка можно убить и что женами, слугами и детьми владеют так же, как вещами.

С другой стороны, несмотря на эти разногласия, есть много этических принципов, с которыми согласится большинство – и в разных культурах, и в разные века. Например, почитание красоты, великодушия и истины уходит корнями к Бхагавадгите и Платону. Институт перспективных исследований Принстона, где я когда-то был аспирантом, имел кредо “Истина и Красота”, в то время как Гарвардский университет опустил эстетическую составляющую и провозглашал просто “Veritas”, то есть истину. В книге A Beautiful Question мой коллега Фрэнк Вильчек утверждает, что истина связана с красотой и что мы можем рассматривать нашу Вселенную как произведение искусства. Наука, религия и психология – все вдохновлены истиной. Религия ставит сильный акцент на доброте, как и мой университет, MIT: в своей приветственной речи в начале 2015 года наш президент Рафаэль Рейф подчеркнул, что наша миссия состоит в том, чтобы делать мир лучше.

Несмотря на то что попытки прийти к консенсусу по этическим вопросам до сего момента оказывались неудачными, есть распространенное мнение, что некоторые этические принципы происходят от других, более фундаментальных, как вспомогательные цели от конечных целей. Например, поиск истины можно рассматривать в связи со стремлением к лучшей модели мира (см. рис. 7.2), понимание окончательной реальности приводит нас к новым этическим целям. В самом деле, у нас теперь есть прекрасная канва, в которую вписывается поиск истины, – научный метод. Но как мы сможем определить, что красиво или хорошо? Некоторые аспекты красоты также можно проследить до лежащих в основе целей. Например, наше понимание мужской и женской красоты может частично отражать наше неосознанное суждение о том, насколько данный объект подходит для воспроизведения наших генов.

Что касается доброты, так называемые золотые правила (что относиться к другим надо так, как хочешь, чтобы относились к тебе) присутствуют в большинстве культур и религий и, очевидно, призваны к развитию гармоничного человеческого общества (а следовательно, и генов) через усиление сотрудничества и отказ от непродуктивного соревнования. То же самое можно сказать о более конкретных этических правилах, которые были закреплены в законодательных системах по всему миру, – таких, как конфуцианская важность честности и многие из десяти заповедей, включая “не убий”. Другими словами, многие этические принципы имеют сходство с социальными эмоциями, такими как эмпатия и сострадание: они развивают сотрудничество и влияют на наше поведение через поощрение и наказание. Если мы сделаем что-то жестокое и будем потом об этом сожалеть, наше эмоциональное наказание измеряется химией нашего мозга. А общество может наказать нас за нарушение этических принципов косвенным путем – например, неформальным порицанием со стороны близких или официальным обвинением в нарушении законов.

Другими словами, хотя сегодняшнее общество довольно далеко от этического консенсуса, существует много базовых принципов, с которыми почти все согласны. Это неудивительно, потому что человеческое общество, дожившее доныне, стремится к тому, чтобы его этические принципы оптимально вели к главной цели: способствовали выживанию и процветанию. Заглядывая в будущее, где у жизни появляется шанс распространиться в космосе и существовать там на протяжении миллиардов лет, мы должны решить: какой минимальный набор этических принципов подойдет для нас в таком будущем? Обсуждать их должны мы все. Я знакомился с этическими воззрениями самых разных мыслителей на протяжении многих лет, эта тема меня увлекала, и я смог выделить из всего разнообразия их взглядов четыре принципа:

Давайте уделим этим четырем принципам некоторое внимание. Традиционно под утилитаризмом понимается “максимальное счастье для максимального количества людей”, но я обобщил, постаравшись избавить его от излишнего антропоцентризма, чтобы он еще включал других животных, искусственный интеллект, каким он существует сегодня, и другие виды искусственного интеллекта, которые могут появиться в будущем. Я даю определение на языке переживаний, удалив из него упоминания о людях или вещах, так как большинство мыслителей согласны, что красота, радость, удовольствие и страдание – это субъективные переживания. Это означает, что если нет переживания (как в мертвой или населенной зомби-подобными бездушными машинами Вселенной), то не может быть и смысла или чего бы то ни было другого, этически значимого. Если мы согласимся с утилитарным этическим принципом, тогда становится важно, чтобы мы определили, какие разумные системы обладают сознанием (то есть способны на субъективные переживания), а какие нет. Это тема следующей главы.

Если бы нас заботил только утилитарный принцип, то нам было бы достаточно выяснить, что именно вызывает самое положительное из возможных переживаний, и настроить наш космос так, чтобы именно оно повторялось до бесконечности из раза в раз, если это возможно, в максимально возможном числе галактик – и используя симуляцию, если она окажется наиболее эффективной. Если вы чувствуете, что такой способ употребления нашей космической данности слишком банален, то, подозреваю, главным образом из-за того, что вам в этом сценарии не хватает разнообразия. Что бы вы почувствовали, если бы до конца жизни на завтрак, обед и ужин вам предлагали одно и то же? Или всю жизнь крутили бы только одно кино? Или у всех ваших друзей была одинаковая внешность, одинаковый характер и мысли? Возможно, нам нравится разнообразие не в последнюю очередь потому, что именно оно помогло человечеству выживать и процветать, сделало нас более стойкими. Возможно, это также связано с предустановками для разума: его развитие на протяжении 13,8 миллиардов лет космической истории сопровождалось превращением скучного единообразия в более диверсифицированную, дифференцированную и сложную структуру, которая обрабатывает информацию более сложными способами.

Принцип автономности лежит в основе многих прав и свобод, зафиксированных во Всеобщей декларации прав человека, которую ООН приняла в 1948 году в попытке усвоить уроки двух мировых войн. Сюда включены свобода мысли, слова и перемещения, свобода от рабства и истязаний, право на жизнь, неприкосновенность, безопасность, образование, право вступать в брак, работать и владеть собственностью. Если мы хотим, чтобы наше определение было менее антропоцентричным, мы можем дать его в более общем виде, ограничившись свободой думать, учиться, общаться, владеть собственностью и быть избавленными от причинения ущерба, а также свободой делать то, что мы хотим, пока это не нарушает свобод окружающих. Принцип автономности способствует диверсификации до тех пор, пока у всех хоть немного различаются цели. Кроме того, принцип автономности следует из принципа утилитарности, если у отдельных сущностей есть цель получать положительный опыт и они стараются действовать в своих интересах: если бы вместо этого мы хотели запретить какой-нибудь сущности достигать ее целей, даже если они никому не вредят, положительных переживаний стало бы меньше. В самом деле, это аргумент в пользу автономии – тот же самый, который экономисты приводят в пользу свободного рынка: он способствует возникновению равновесной ситуации (экономисты называют ее “парето-эффективным распределением благ”), где никому не может стать лучше без того, чтобы кому-то другому стало хуже.

Принцип преемственности говорит, что у нас должно быть право голоса в определении будущего, раз уж мы помогаем его строить. Принципы автономности и преемственности утверждают демократические идеалы: первый дает будущим формам жизни власть над тем, как будет использоваться наше космическое достояние, а последний дает такую власть ныне живущим людям.

Несмотря на то, что на первый взгляд никакого противоречия между этими четырьмя принципами не видно, внедрение их на практике проблематично – дьявол, как всегда, в деталях. Сложность кроется в реминисценциях по известным “трем законам робототехники” легендарного писателя-фантаста Айзека Азимова:

Хотя все это звучит хорошо, многие истории Азимова показывают, как законы могут привести к противоречиям и неожиданным ситуациям. Теперь предположим, что мы заменим эти законы всего двумя с целью запрограммировать принцип автономности для будущих форм жизни:

Звучит неплохо, правда? Но погодите минутку. Если животные обладают сознанием, тогда чем питаться хищникам? Все наши друзья должны стать вегетарианцами? Если некоторые замысловатые компьютерные программы будущего окажутся обладателями сознания, будет ли законно прерывать их работу? Если есть правило против прерывания цифровых форм жизни, тогда должно также быть ограничение на их создание, иначе нас ждет демографический взрыв среди цифрового населения? Всеобщая декларация прав человека была встречена единодушным одобрением, потому что только люди принимали участие в обсуждении. Как только мы начнем думать о большем количестве обладающих сознанием сущностей, чьи возможности и силы заметно различаются, мы сталкиваемся с запутанной коллизией между защитой слабых и “правом сильного”.

Также есть проблемы с принципом преемственности. Принимая во внимание, насколько развились этические взгляды со Средних веков, в том числе на рабство, права женщин и т. д., хотели бы мы, чтобы люди, которые жили 1500 лет назад, имели сильное влияние на то, как устроен мир сегодня? Если нет, почему мы должны насаждать нашу этику для будущих поколений, которые могут быть существенно умнее нас? Действительно ли мы уверены, что сверхчеловеческий искусственный интеллект захочет жить с тем, что было так дорого нашему малоразвитому интеллекту? Так четырехлетняя девочка представляет себе, как она, когда вырастет и поумнеет, построит гигантский пряничный домик, в котором сможет проводить дни напролет с конфетами и мороженым. Как и она, жизнь на Земле, скорее всего, перерастет свои детские интересы. Или представьте мышь, которая создает искусственные интеллект, соразмерный человеческому, и думает, что он будет строить города из сыра. С другой стороны, если бы мы знали, что сверхчеловеческий искусственный интеллект однажды захочет совершить космоубийство и уничтожить всю жизнь в нашей Вселенной, почему должны сегодняшние люди соглашаться на безжизненное будущее, если у нас есть силы предвосхитить его, создавая завтрашний искусственный интеллект по-другому?

В заключение мы можем сказать, что сложно полностью переформулировать даже широко распространенные этические принципы таким образом, чтобы они были приемлемы для будущего искусственного интеллекта, и эта проблема заслуживает серьезного обсуждения и исследования. В настоящий момент, однако, давайте не позволим лучшему быть врагом хорошего: есть много примеров бесспорной “детсадовской этики”, которая может и должна быть встроена в завтрашнюю технологию. Например, большому пассажирскому авиалайнеру должно быть запрещено сталкиваться с неподвижными объектами, и сейчас, когда у всех у них есть автопилот, радар и GPS, больше не должно существовать никакого технического оправдания подобному. Но несмотря на это, 11 сентября 2001 года террористы, угнав три самолета, врезались в здания-небоскребы; 24 марта 2015 года пилот-смертник Андреас Лубиц направил самолет авиакомпании GermanWings, выполнявший рейс 9525, в гору, установив автопилот на высоте 100 футов (30 метров) над уровнем моря, а остальное сделал бортовой компьютер. Сейчас, когда наши машины становятся достаточно умными, чтобы понимать, что они делают, настало время нам обозначить для них границы. Любой инженер, разрабатывающий машину, должен задаться вопросом, есть ли какие-то вещи, которые она может, но не должна делать, и обдумать, есть ли практический способ сделать так, чтобы недобросовестный или неумелый пользователь не смог бы использовать ее во вред.