Эта глава была короткой историей целей. Если мы быстро перемотаем нашу 13,8-миллиардолетнюю историю космоса, мы увидим несколько основных стадий развития целенаправленного поведения:

Если эти машины со временем войдут в стадию интеллектуального взрыва, как завершится эта история целей? Может ли появиться новая система целей или возникнуть новые этические рамки, с которыми согласятся почти все сущности, объединенные процессом общего развития интеллекта? Другими словами, нет ли у нас своего рода этической предопределенности?

Даже поверхностное ознакомление с литературой по истории человечества может обнаружить намеки на такую конвергенцию: в книге The Better Angels of Our Nature Стивен Пинкер заявляет, что общество на протяжении тысячелетий становилось менее жестоким и более нацеленным на взаимодействие и что многие части мира прогрессируют по части принятия различий, автономии и демократии. Еще один намек на конвергенцию заключается в том, что поиск истины с помощью научного метода за последнее тысячелетие получил значительное распространение. Возможно, однако, что данные тенденции показывают конвергенцию не конечных целей, а всего лишь вспомогательных. Например, на рис. 7.2 видно, что поиск истины (более точной модели мира) – не более чем вспомогательная цель при достижении практически любой конечной цели. Также мы выше видели, как этические принципы – взаимопомощь, диверсификация и автономность – могут рассматриваться как вспомогательные цели, ибо помогают обществу функционировать более эффективно, а следовательно – выживать и достигать более основательных целей, которые у него могут быть. Кто-то может даже сказать: никаких “человеческих ценностей” и нет, а есть только “протокол о сотрудничестве”, более эффективно помогающий в достижении вспомогательной цели взаимопомощи. В том же духе, заглядывая вперед, мы можем предположить, что вспомогательные цели любой сверхразумной системы искусственного интеллекта должны включать в себя эффективный “хард”, эффективный “софт”, поиск истины и любопытство просто потому, что эти вспомогательные цели помогают в достижении любых возможных конечных целей.

Против гипотезы этической предопределенности решительно выступает Ник Бострём в своей книге Superintelligence, проводя противоположную линию и выстраивая, как он его называет, тезис ортогональности, утверждающий, что конечные цели системы могут быть независимы от ее интеллекта. По определению, интеллект – это просто способность достигать сложной цели вне зависимости от того, какова эта цель; таким образом, тезис ортогональности звучит вполне логично. В конце концов, люди могут быть умными и добрыми или умными и злыми, и ум может быть использован для совершения научных открытий, создания произведений искусства, помощи людям или планирования террористических акций.

Тезис ортогональности расширяет наши возможности, говоря, что основные цели жизни в нашем космосе не предопределены и что мы вольны в выборе и оформлении их. Он предполагает, что гарантированная конвергенция к единой цели обнаруживается не в будущем, а в прошлом, когда всякая жизнь возникала с единственной простой целью – заниматься репликацией. По прошествии космического времени наиболее развитые умы получили возможность освободиться от этой банальной цели и самостоятельно выбирать себе другие. Мы, люди, не полностью свободны в этом отношении, так как многие цели остаются генетически запрограммированными в нас, но искусственный интеллект может получить удовольствие абсолютного освобождения от таких первичных целей. Эта возможность бóльшей свободы от конечных целей очевидна в сегодняшний простых и ограниченных системах с искусственным интеллектом: как я говорил ранее, единственная цель компьютера, играющего в шахматы, – выиграть, но есть такие компьютеры, цель которых – проигрывать в шахматы, и они участвуют в соревнованиях по игре в поддавки, где их цель – вынуждать противника атаковать. Возможно, эта свобода от предубеждений эволюции может сделать системы с искусственным интеллектом более этичными, чем люди, в некотором очень глубоком смысле: философы-моралисты, такие как Питер Сингер, утверждают, что многие люди ведут себя неэтично по эволюционным причинам – например, проявляя дискриминацию по отношению к отличным от людей животным.

Нам уже известно: краеугольной в ви́дении дружественного искусственного интеллекта оказывается идея, что искусственный интеллект, постоянно самосовершенствуясь, сохраняет свои конечные (дружественные) цели по мере того, как становится все более умным. Но как может “конечная цель” (“финальная”, как называет ее Бострём) быть даже просто определена для сверхразума? Мне кажется, мы не можем быть уверены в ви́дении дружественного AI до тех пор, пока не ответим на этот принципиальный вопрос.

Исследования в области искусственного интеллекта обычно предполагают наличие четко и однозначно сформулированной финальной цели у умных машин: например, выигрывать в шахматы или, не нарушая правил дорожного движения, довести автомобиль до заданной конечной точки. То же самое сохраняется и для большинства задач, которые мы ставим перед человеком, потому что временной горизонт и контекст известны и ограничены. Но сейчас мы говорим о будущем жизни в нашей Вселенной, не ограниченной ничем, кроме (и это в полной мере не известно) законов физики, поэтому определение целей ужасно важно! Если не учитывать квантовые эффекты, по-настоящему хорошо определенная цель укажет, как все частицы в нашей Вселенной должны быть организованы к концу времен. Но неясно, существует ли в нашей Вселенной хорошо определенный конец времен. А если частицы окажутся организованы таким образом раньше этого срока, то такая их организация долго не продлится. И в любом случае – какая организация частиц предпочтительна?

Нам, людям, свойственно отдавать предпочтение одной организации частиц перед другой; например, мы предпочитаем, чтобы в нашем родном городе сохранялась привычная организация, а не возникала иная под действием взрыва водородной бомбы. Поэтому предположим, что мы пытаемся определить функцию “хорошести”, которая ставит в соответствие каждой возможной организации частиц в нашей Вселенной число, показывающее, насколько “хорошей” мы сочтем такую организацию, и потом зададим сверхразумному искусственному интеллекту цель доводить это число до максимума. Такой подход выглядит вполне разумным, поскольку описание целенаправленного поведения как приведения какой-то функции к ее экстремальному значению популярно в других областях науки: например, экономисты часто моделируют людей, пытающихся увеличить то, что они называют “функцией полезности”, и многие разработчики умных систем тренируют свои интеллектуальные программы на приведение к максимальному значению того, что они называют “функцией успеха”. Однако когда мы говорим о конечных целях нашего космоса, такой подход приводит к вычислительному кошмару, так как будет необходимо определять “хорошесть” для каждого из более чем гуголплекс возможных организаций элементарных частиц во Вселенной, где гуголплекс – это 1 с 10¹⁰⁰ нулями, то есть нулей в нем больше, чем частиц во Вселенной. Как мы определим эту функцию нашему искусственному интеллекту?

Выше мы уже выяснили, что, возможно, единственная причина, по которой у нас есть какие-то предпочтения, состоит в том, что мы сами – решение оптимизационной эволюционной задачи. Таким образом, все нормативные определения для нашего человеческого языка – такие как “вкусный”, “благоухающий”, “красивый”, “удобный”, “интересный”, “сексуальный”, “значимый”, “счастливый” и “хороший”, ведут свое происхождение от этой оптимизационной эволюционной задачи, и нет никаких гарантий, что сверхразумный искусственный интеллект посчитает их строго определенными. Даже если искусственный интеллект научится точно предсказывать предпочтения какого-то представителя человеческого рода, он не сможет вычислить функцию “хорошести” для большинства способов упорядочения частиц: их подавляющее большинство соответствует странным космическим сценариям, когда нет звезд, нет планет или людей как таковых, когда у людей нет своих переживаний, и кто же тогда сможет сказать, “хорошо” ли получилось?

Есть, конечно, некоторые функции упорядочения космических частиц, которые могут быть строго определены, и мы даже знаем физические системы, которые эволюционируют в сторону их максимального значения. Например, мы уже обсудили, как много систем эволюционируют, стремясь к максимуму своей энтропии, которая при отсутствии гравитации с течением времени приводит к тепловой смерти, где все скучно, единообразно и неизменно. Так что энтропия – совсем не то, что мы хотели бы предложить искусственному интеллекту как критерий “хорошести”, к максимальному значению которого он бы стремился. Ниже приведены еще несколько примеров величин, к максимальному значению которых он мог бы стремиться и которые можно жестко определить в терминах упорядочения частиц:

Однако, отталкиваясь от физических представлений, в соответствии с которыми наш космос состоит из движущихся элементарных частиц, сложно увидеть, почему какая-то одна интерпретация “хорошести”, а не какая-то другая должна играть какую-то специальную роль. Нам еще надо определить некую финальную цель для нашей Вселенной, которая окажется и определимой, и желаемой. Единственные программируемые на данный момент цели, которые точно останутся хорошо определимыми, когда искусственный интеллект станет намного более разумным, это цели, выраженные исключительно в физических категориях, таких как упорядоченность частиц, энергия и энтропия. Однако в данный момент у нас нет причин верить, что любая из таких определимых целей будет желаемой, гарантируя выживание человечества.

Напротив, кажется, что человечество – это историческая случайность, которая не является оптимальным решением ни для какой хорошо определенной физической задачи. Это означает, что сверхразумный искусственный интеллект с жестко определенной целью сможет оптимизировать ее достижение, просто исключив нас. Это означает, что мудрое решение относительно разработок интеллектуальных систем для нас, людей, предполагает необходимость не только противостоять традиционным вычислительным сложностям, но и решать некоторые из самых упрямых вопросов философии. Чтобы запрограммировать беспилотный автомобиль, нам надо решить “проблему вагонетки”, априорно указав, кто будет жертвой во время аварии. Чтобы запрограммированный искусственный интеллект был дружественным, нам надо вложить в него представление о смысле жизни. А что такое “смысл”? И что такое “жизнь”? Каковы конечные этические императивы? Другими словами, как мы можем пытаться формировать будущее нашей Вселенной? Если мы вручим свою судьбу сверхразумному искусственному интеллекту до того, как ответим на эти вопросы, ответ, к которому он придет, вряд ли будет включать наше существование. Поэтому сейчас самое время еще раз вернуться к классическим спорам о философии и этике и отнестись к ним как к весьма срочному делу!