Итак, мы рассмотрели сценарии интеллектуального взрыва, спектр которых простирается от таких, которых все известные мне люди хотели бы избежать, до таких, отношение к которым у некоторых моих друзей весьма оптимистично. У всех у них есть общие черты:

Основной спор сейчас идет о том, насколько вероятны обе этих черты – быстрый старт и однополярный итог, и среди специалистов по искусственному интеллекту, и среди других мыслителей немало сторонников и с той и с этой стороны. Для меня это просто означает, что ответ нам пока неизвестен, и мы должны держать свой ум открытым, рассматривая обе возможности. Так что давайте посвятим остаток этой главы медленному старту, многополярному исходу, киборгам и загрузкам.

Между двумя сценариями есть любопытная зависимость, как подметил Ник Бострём, а вместе с ним и некоторые другие: быстрый старт влечет за собой и однополярный исход. Мы видели выше, как ускоряющаяся последовательность событий давала “омегам” и Прометею решающее преимущество в захвате мира, не оставляя никому времени для копирования их технологий и сколько-нибудь серьезной конкуренции. Иное дело, если бы прогресс был медленным, затягивался на десятилетия, потому что технические решения приходили бы небольшими порциями и с разных сторон, тогда и у других компаний появилось бы время для того, чтобы сравняться, и доминировать какому-то одному игроку в этой ситуации было бы трудно. Если у конкурирующих компаний тоже случилось бы подходящее программное обеспечение для выполнения заданий “механического турка”, то закон спроса и предложения потянул бы цены на такие услуги вниз, доводя их до ничтожных значений, и никакой из этих компаний не удалось бы собрать на таких операциях достаточной суммы, чтобы перехватить власть. То же относится и ко всем другим путям, принесшим “Омеге” быстрые деньги: их прибыльность была скоротечна – лишь до тех пор, пока они удерживают монополию на рынках. Трудно удваивать ваши деньги ежедневно (и даже – каждый год) на конкурентном рынке, где ваш соперник предлагает почти то же самое по ценам, практически не отличающимся от нуля.

Каково естественное состояние жизни в нашей Вселенной: однополярное или многополярное? Власти – сосредоточенное или распределенное? По прошествии первых 13,8 миллиардов лет, кажется, мы должны ответить: “Оба”. Мы видим принципиально многополярную ситуацию с очень интересной иерархией. Когда мы рассматриваем входящие в эту иерархию сущности, обменивающиеся информацией, – клетки, людей, организации, нации и т. п., – то мы видим, что они одновременно и сотрудничают, и соперничают на разных уровнях этой иерархии. Для некоторых клеток оказывается до такой крайней степени выгодно сотрудничать, что они даже объединяются в один организм вроде человеческого, отказываясь от части своих функций в пользу центральной нервной системы. Некоторые люди находят очень полезным сотрудничать в группах вроде племен, компаний или наций, где они тоже делегируют часть своей воли вождю, боссу или правительству. Некоторые группы в свою очередь что-то делегируют руководящему органу, чтобы обеспечить лучшую координацию, чему много примеров – от альянсов авиакомпаний до Европейского союза.

Раздел математики, известный под названием “теория игр”, элегантно описывает такую ситуацию, показывая, что стимул к сотрудничеству возникает тогда, когда оно ведет к “равновесию Нэша” – это такое состояние, когда любое изменение приводит к ухудшению для любой части системы. Чтобы помешать мошенникам разрушить столь полезное для всей группы сотрудничество, ее членам может быть выгодно делегировать часть свой власти более высокому уровню: например, люди, объединившись и передав правительству право поддерживать порядок, получают пользу как целое; клетки в вашем теле также получают пользу как целое благодаря своим силовым ведомствам – иммунной системе, предоставляя ей возможность убивать не склонные к сотрудничеству клетки (скажем, зараженные вирусом или становящиеся канцерогенными). Чтобы иерархия оставалась устойчивой, равновесие Нэша должно достигаться и между сущностями разных уровней: например, если правительства недостаточно заботятся о благополучии своих граждан, те могут посчитать нужным изменить тактику и свергнуть правительство.

В сложном мире обнаруживается изобилие многообразных возможностей достижения равновесия Нэша, соответствующих различным типам иерархии. Одни иерархии более авторитарны, другие менее. В некоторых составляющие их сущности вправе свободно их покинуть (как работники большинства корпораций), в других их довольно жестко удерживают от этого шага (как в некоторых религиозных культах), а в третьих и вовсе лишают такой возможности (как граждан в Северной Корее или клетки в человеческом теле). Одни иерархии поддерживают свою целостность преимущественно угрозами и страхом, другие – выгодами. Одни иерархии позволяют компонентам нижних уровней напрямую влиять на верхние (например, в ходе демократических выборов), в других возможно влияние только через уговоры и передачу информации.

У технологий есть возможности изменять иерархическую структуру мира. История демонстрирует нам общую тенденцию ко все бóльшей координации на все бóльших расстояниях, что нетрудно понять: новые транспортные технологии делают координацию все более выгодной (давая возможность получать выгоду от перемещения материалов или живых объектов на большие расстояния), а коммуникационные технологии упрощают осуществление координации. Когда клетки научились посылать сигналы соседям, стали возможны маленькие многоклеточные организмы, добавив новый иерархический уровень. Когда эволюция изобрела кровеносную систему и нервную систему для транспорта и коммуникации внутри организма, стали возможны крупные животные. Дальнейшее улучшение коммуникации посредством изобретения языка позволило людям координироваться настолько, что они стали жить деревнями, а следующий прорыв в области коммуникационных, транспортных и иных технологий повлек появление античных империй. Глобализация – это всего лишь последний пример многомиллиардолетнего тренда к росту иерархий.

В большинстве случаев этот определяемый технологиями тренд превращал крупные сущности в части еще более крупных структур, хотя и при сохранении большей части их автономии и индивидуальности, но комментаторы всегда сокрушались, что приспособление этих сущностей к жизни внутри иерархии в некоторых случаях сокращало их разнообразие и сводило к неразличимым взаимозаменяемым деталям. Некоторые технологии, такие как видеонаблюдение, увеличивают власть более высоких уровней иерархии над подчиненными им, но некоторые другие, такие как криптография и прямой онлайн-доступ к информационным медиа и образованию, оказывают противоположный эффект и укрепляют позиции индивидуумов.

Хотя в своем нынешнем состоянии мир продолжает оставаться в мультиполярном равновесии Нэша, с конкурирующими нациями и транснациональными корпорациями на верхнем уровне, технологии стали настолько совершенными, что и однополярный мир вполне мог бы достичь равновесия Нэша. Например, представим себе параллельную Вселенную, где у всех на Земле общий язык, общая культура, общие ценности и один уровень благосостояния, на планете единое мировое правительство, нации сохраняют свои права в рамках федерации, армии не нужны, и только полиция поддерживает порядок. Нашего нынешнего уровня развития технологий было бы достаточно для координации такого мира, хотя население, вероятно, оказалось бы неспособным или не пожелало бы переходить в состояние такого альтернативного равновесия.

Что случится с иерархической структурой нашего космоса, если мы добавим в эту смесь еще и сверхразумый искусственный интеллект? Транспортные и коммуникационные системы улучшаются очевидным образом, так что закономерно ожидать продолжения естественного тренда, с новыми иерархическими уровнями на дальних рубежах, когда, наконец, в дело включится и Солнечная система, и Галактика, и суперкластеры, и вообще необозримые просторы нашей Вселенной, о чем мы еще поговорим в главе 6. И как раз тут-то и начнет действовать фундаментальный драйвер децентрализации: вы только подумайте, как расточительна избыточная координация на таких больших расстояниях! Даже Сталин не пытался точно указывать своим гражданам, в какой момент они должны входить в баню. Для сверхразумного искусственного интеллекта жесткий верхний предел транспортным и коммуникационным технологиям укажут законы физики, делающие крайне маловероятной возможность контроля микродинамики планетарного или даже меньшего масштаба со стороны высших уровней иерархии. Сверхразумный искусственный интеллект где-нибудь в туманности Андромеды не сможет давать вам сколько-нибудь дельные советы по поводу вашей повседневной жизни: вам придется ждать их добрых пару миллионов лет (столько времени световому лучу надо, чтобы добраться до ближайших галактик и вернуться назад). А время, нужное световому лучу, чтобы совершить свое путешествие туда-сюда в пределах Земли, составляет около 0,1 секунды (это тот самый временной масштаб, в которым мыслим мы, люди), так что искусственный интеллект размером с Землю будет ворочать свои по-настоящему глобальные мысли не быстрее, чем мы, люди. А для маленького искусственного интеллекта, тратящего одну миллиардную секунды на каждую операцию (таково быстродействие современных компьютеров), 0,1 секунды – это как четыре месяца для вас, и для него быть подконтрольным на микроуровне глобальному искусственному интеллекту – это то же самое, что для вас испрашивать по каждому самому тривиальному поводу разрешения, которое будет доставляться через Атлантику каравеллой Колумбовой эры.

Этот физически обусловленный предел скорости передачи данных создаст очевидные проблемы для любого искусственного интеллекта, который захочет взять весь мир под свой контроль, что уж тут говорить о контроле над Вселенной. Прежде чем Прометей сбежал, ему пришлось основательно подумать над тем, как избежать фрагментации, как добиться того, чтобы различные его модули, оказавшись на разных компьютерах, возможно, в различных частях мира, подчинялись согласованным целям и стимулам, действовали как единая сущность. Точно так же, как у “омег” была проблема с отслеживанием действий Прометея, когда он был в их власти, так же и у самого Прометея возникает проблема с отслеживанием собственных действий, когда он хочет быть уверен, что ни одна из его частей не устроит “революции”. У нас пока нет ясного представления, насколько велика может быть та система, которую искусственный интеллект будет в состоянии контролировать напрямую или опосредованно, при помощи равновесной иерархии – даже при условии, что быстрый побег даст ему решающее стратегическое превосходство.

Подводя итог, мы можем сказать, что вопрос о том, каким образом будет контролироваться сверхразумное будущее, увлекательно сложен, и никаким внятным ответом мы пока не располагаем. Одни говорят, что неизбежно усиление авторитаризма, другие говорят о росте индивидуальной свободы.