Короткий ответ состоит в том, что у нас, естественно, нет ни малейшего понятия, что же может произойти, когда мы создадим AGI человеческого уровня. Именно по этой причине мы потратили целую главу на то, чтобы обсудить широкий круг сценариев. По этой причине я постарался включить в нее все возможности, на обсуждении которых присутствовал или о которых слышал от специалистов в области искусственного интеллекта: быстрый разгон / медленный разгон / без разгона, управление людьми / машинами / киборгами, один центр власти / много центров и т. д. Некоторые говорили мне, что не верят в возможность чего-то подобного. Однако я считаю, что на нынешней стадии нам негоже заноситься и следует признавать, как мало мы знаем. И для каждого из обсуждавшихся выше сценариев я могу указать по меньшей мере одного солидного и уважаемого ученого, полагающего его совершенно возможным.

По мере того как идет время и мы проходим развилки на дорогах, у нас появляются ответы на ключевые вопросы, и выбор вариантов сужается. Первый среди главных вопросов – создадим ли мы когда-нибудь AGI человеческого уровня. Эта глава написана в предположении, что скоро создадим, но есть эксперты в области искусственного интеллекта, которые думают, что нам этого никогда не удастся, – по крайней мере, не в ближайшие несколько столетий. Время покажет. Но, как я уже говорил, на конференции в Пуэрто-Рико примерно половина экспертов оценили время его появления 2055 годом. А уже на следующей конференции, проходившей двумя годами позже, время ожидания сократилось до 2047-го.

Пока AGI не создан, у нас будут появляться веские основания считать, что успех будет достигнут совершенствованием компьютеров, или путем заливки, или еще каким-то иным, пока непредвиденным путем. Если совершенствование компьютеров – доминирующий на сегодня вариант – провалится, то могут повыситься шансы заливки, которая изображается (весьма нереалистично) в фильме Transcendence.

Если появление AGI станет неминуемым, мы сможем строить более обоснованные догадки относительно ответа и на второй ключевой вопрос: будет ли быстрый разгон, медленный разгон или не будет никакого разгона. Как мы видели, быстрый разгон облегчает захват всего мира, а медленный разгон делает более вероятным появление большого количества конкурирующих игроков. Ник Бострём препарирует этот вопрос о скорости разгона в ходе анализа того, что он называет оптимизационной силой и сопротивлением, в сущности представляющими собой совокупную интенсивность шагов к повышению качества (quality effort) искусственного интеллекта и сложность в достижении прогресса соответственно. Средняя скорость прогресса очевидно увеличивается, когда для достижения его применяется бóльшая оптимизационная сила, и уменьшается, когда встречается бóльшее сопротивление. Он приводит аргументы, почему сопротивление может возрастать или убывать при достижении AGI человеческого уровня, поэтому для надежности было бы разумно пока держать обе возможности в поле зрения. Но если говорить об оптимизационной силе, то она со всей вероятностью должна быстро возрастать при превышении AGI человеческого уровня – по причинам, которые ясно проявились при нашем описании сценария “Омега”: в последующем основной вклад в оптимизацию делают не люди, а сама машина, и чем выше ее способности, тем быстрее прогресс (если сопротивление остается константой).

Для любого процесса, сила которого, определяющая его скорость, пропорциональна достигнутому уровню, результат, производимый этой силой, будет удваиваться через один и тот же промежуток времени. Мы называем такой рост экспоненциальным, а такие процессы – взрывом. Если количество новорожденных будет пропорционально численности популяции, то произойдет популяционный взрыв. Если рождение нейтронов, способных вызывать деление ядер плутония, растет пропорционально числу этих нейтронов, то произойдет атомный взрыв. Если разум машины растет пропорционально его силе, то мы получим взрыв разума. Каждый из таких взрывов характеризуется временем, которое требуется, чтобы сила удвоилась. Если характерное время интеллектуального взрыва – часы или дни, как было в примере со сценарием “Омега”, то мы получаем быстрый разгон.

Характерное время взрыва принципиально зависит от того, достаточно ли для усиления искусственного интеллекта только улучшения его “софта” (которое возможно в считанные секунды, минуты или часы), или оно требует изменения “харда” (на что могут уйти месяцы или годы). В сценарии “Омега” имелся значительный аппаратный излишек (hardware overhang), по терминологии Бострёма: “омеги” могли компенсировать низкое качество своих исходных программ изобилием находящихся в их распоряжении компьютеров, что означало наличие возможности у Прометея производить большое количество удвоений качества, только улучшая свой “софт”. Но благодаря интернету у него был и большой излишек контента (content overhang); Прометей 1.0 был не в состоянии им воспользоваться, но когда его интеллектуальные способности выросли, данные, необходимые для его дальнейшего обучения, могли быть в его распоряжении незамедлительно.

Стоимость конструкции и расходуемой искусственным интеллектом электроэнергии также существенные факторы, так как интеллектуальный взрыв нам не будет выгоден, пока стоимость выполняемой искусственным интеллектом работы человеческого качества не будет ниже оплаты этой работы, если ее будет выполнять сам человек. Допустим, например, что первый AGI сможет выполнять любые задания, на какие только способен человек, в облаке Amazon по стоимости 1 миллион долларов в час. Конечно, это будет грандиозный прорыв, и все газеты разместят эту новость на первых полосах, но никакого последовательного самоусовершенствования этого искусственного интеллекта пока не случится, потому что выгоднее будет продолжать использовать для его усовершенствования людей. Предположим, что эти люди постепенно добиваются успеха, и стоимость часа работы искусственного интеллекта снижается – сначала до 100 000 долларов в час, потом до 10 000 долларов в час, потом до 1 000 долларов в час, потом до 100 долларов в час, потом до 10 долларов в час и, наконец, до 1 доллара в час. Ко времени, когда использовать сам компьютер для собственного перепрограммирования окажется значительно дешевле, чем платить людям за ту же работу, программистов можно отправлять на покой, а оптимизационная сила резко возрастет за счет появившейся возможности покупать вычислительное время в облаке. Отсюда возникнет еще большее снижение стоимости, еще больше увеличивающее оптимизационную силу. Вот и начало интеллектуального взрыва.

У нас теперь остается только один, последний ключевой вопрос: кто или что будет контролировать интеллектуальный взрыв и его последствия, каковы будут его/их цели. Мы исследуем возможные цели и результаты, получаемые при их достижении, в следующей главе, а потом, на более глубоком уровне, в главе 7. Чтобы разобраться в вопросе управления, его надо разделить на два: насколько управляем искусственный интеллект, и насколько искусственный интеллект способен к управлению.

Относительно того, что случится дальше, у нас наблюдается предельное разнообразие вариантов: вы можете найти серьезных мыслителей, полагающих, что наша гибель в этом случае неизбежна, и не менее серьезных мыслителей, уверенных в том, что нам гарантированы самые благоприятные последствия. Но, на мой взгляд, в самом вопросе содержится подвох: обреченно спрашивать “что случится”, как будто все уже предрешено, – это большая ошибка! Если технологически опережающая нас цивилизация прибудет на Землю завтра, спрашивать “что случится?” естественно: их космические корабли уже подлетают, их сила, очевидно, значительно превосходит нашу, поэтому никаких способов повлиять на будущее у нас нет. Если технологически превосходящая и подкрепленная искусственным интеллектом цивилизация наступает, потому что мы сами ее создали, то у нас, людей, есть много возможностей повлиять на дальнейшее развитие событий – возможностей, реализуемых в процессе создания искусственного интеллекта. Поэтому правильный вопрос звучит так: “Что должно случиться? Какое будущее мы хотим получить?”. В следующей главе мы рассмотрим широкий спектр ответов, возможность которых нам открывает нынешняя гонка за AGI, и мне любопытно узнать, как бы вы расположили их – от наиболее привлекательных к наиболее отталкивающим. Только хорошенько подумав о том, какое будущее нам кажется наиболее привлекательным, мы сможем как-то направить свое развитие в сторону этого будущего. Не зная, чего мы хотим, мы вряд ли это получим.

• Если когда-нибудь нам удастся создать AGI человеческого уровня, за этим может последовать интеллектуальный взрыв, и мы в результате останемся далеко позади.

• Если группа людей справится с управлением этим интеллектуальным взрывом, то эти люди смогут за несколько лет взять в свои руки власть над всем миром.

• Если люди не будут контролировать интеллектуальный взрыв, то искусственный интеллект сможет еще быстрее взять весь мир под свой контроль.

• В то время как быстро развивающийся интеллектуальный взрыв может привести к власти над миром одной-единственной державы, медленно развивающийся взрыв, растянувшись на годы или десятилетия, с большей вероятностью приведет к реализации многополярного сценария, предполагающего достижение равновесия в распределении сил между большим числом достаточно независимых сущностей.

• История жизни показывает ее склонность к самоорганизации во все более усложняющиеся иерархические структуры, формируемые под влиянием сотрудничества, состязания и управления. Сверхразум, вероятно, сможет распространить координацию до немыслимых доныне космических масштабов, однако сейчас невозможно сказать, приведет ли это к тоталитарной власти, упорядоченной сверху донизу, или, напротив, это откроет путь для реализации индивидуальных возможностей.

• И создание киборгов, и заливка человеческого разума в машинную память вполне правдоподобны, но, похоже, ни то, ни другое не обеспечивает скорейшего прогресса для машинного интеллекта.

• Наш нынешний энтузиазм в создании искусственного интеллекта может привести нас и в точку наивысшего развития, и в точку глубочайшего падения относительно всей предшествующей истории человечества. Широчайший спектр возможностей мы обсудим в следующей главе.

• Нам пора начать думать о том, какой итог мы бы предпочли, и о том, как можно направить к нему наше движение, потому что, не зная, чего мы хотим, мы вряд ли это получим.