Глава одиннадцатая

Сценарии многополярного мира

Мы уже не раз убеждались (особенно в главе восьмой), какой опасной может быть развязка, приводящая к однополярному миру, когда единственный сверхразум получает решающее стратегическое преимущество и использует его для формирования синглтона. В этой главе мы рассмотрим, что может произойти в случае многополярного исхода: возникновение постпереходного общества со множеством конкурирующих сверхразумных агентов. Этот сюжетный вариант интересует нас по двум причинам. Во-первых, одним из решений проблемы контроля может быть метод социальной интеграции — его достоинства и недостатки были отмечены в девятой главе. Детально он будет описан в этой главе. Во-вторых, даже при отсутствии намеренного стремления создать многополярные условия, чтобы решить проблемы контроля, они могут сложиться сами собой. Как тогда будет выглядеть исход? Совсем необязательно, что появившееся общество, основанное на конкуренции, окажется перспективным и просуществует сколь-нибудь долго.

В сценарии однополярного мира, когда критический рубеж уже перейден и наступило правление синглтона, — все, что произойдет потом, будет полностью зависеть от его системы ценностей. Поэтому исход может быть как очень хорошим, так и очень плохим, в зависимости от того, какие у сингл­тона замыслы. В свою очередь, его ценностная ориентация зависит от того, была ли решена проблема контроля и — если была решена — от целей проекта, в рамках которого был создан синглтон.

Итак, те, кого интересуют возможные сценарии исхода с формированием синглтона, могут опереться на три источника возможной информации: факторы, на которые синглтон воздействовать не может (например, физические законы); конвергентные инструментальные цели; предположительные конечные цели.

В сценариях многополярного мира появляется дополнительный набор условий, тоже играющий информационную роль, — разные характеры взаимоотношений­ агентов. Вследствие их взаимодействия возникает та или иная социальная динамика, которую можно проанализировать, используя знания по теории игр, экономике и теории эволюции, также подойдут некоторые элементы политологии и социологии — настолько, насколько мы освободим их от случайных черт человеческого опыта. Было бы странно ожидать, что из этих источников мы сможем извлечь достаточно информации для составления полной картины постпереходного мира, но они помогут наметить самые яркие вероятные сценарии и оспорить самые беспочвенные предположения.

Мы начнем с изучения модели сценария, характеризующейся определенными экономическими показателями: низким уровнем регулирования, сильной защитой прав собственности и умеренным распространением недорогих систем искусственного интеллекта. Так называемую экономическую модель чаще всего связывают с именем американского экономиста Робина Хэнсона, который стал первооткрывателем этой темы. Далее мы рассмотрим некоторые эволюционные соображения и изучим перспективы многополярного постпереходного мира, впоследствии превращающегося в синглтон.

О лошадях и людях

Универсальный искусственный интеллект мог бы стать заменой человеческому интеллекту. Причем УИИ будет способен выполнять не только умственную работу, но и физический труд — правда, последним он займется не сам, а заменит людей на исполнительные устройства и роботизированные механизмы. Предположим, работники-машины, которых очень легко воспроизводить, стали и дешевле, и способнее работников-людей почти во всех профессиях. Что тогда произойдет?

Заработная плата и безработица

С появлением легко воспроизводимых работников-машин упадут рыночные зарплаты. Человек сохранит свою конкурентоспособность только в тех сферах профессиональной деятельности, где клиенты-люди будут искать общения с себе подобными, а не машинами. Сегодня товары, сделанные вручную или выпущенные коренными жителями тех или иных мест по традиционной технологии, часто стоят дороже. Возможно, и в будущем потребители будут выбирать продукты, произведенные людьми, а также предпочитать­ спортсменов-людей, художников-людей, возлюбленных-людей и политиков-людей, хотя с функциональной стороны искусственное существо окажется неотличимым от человека и даже превосходящим его. Неясно только, сколько продлятся эти предпочтения. Ведь если киберальтернативы станут заметно превосходить людей на всех направлениях, возможно, ценить их начнут больше.

Для выбора потребителя может оказаться важным такой параметр, как внутренний мир человека, оказывающего услугу или производящего товар. Меломаны будут особенно ценить тот факт, что исполнители чувствуют музыку и ощущают реакцию своих слушателей. Музыкант, лишенный субъектив­ного восприятия, выглядит скорее как высококачественный проигрыватель, способный создать трехмерную картинку и естественным образом взаимодействующий с публикой. Могут быть созданы машины, способные воспроизводить психические состояния, характерные для людей, выполняющих то же задание. Однако даже при наличии идеальной имитации субъективного опыта некоторые люди выберут «органическую» работу. Такие предпочтения могут иметь, например, идеологические или религиозные корни. По аналогии с тем, что многие мусульмане и евреи избегают употреблять в пищу харамные и некошерные продукты, в будущем появятся потребители, сторонящиеся товаров и услуг, произведенных с привлечением искусственного интеллекта.

Что все это означает? Сократится количество рабочих мест для людей, поскольку дешевый машинный труд сможет заменить человеческий. В принципе, ужас перед наступлением автоматизации производства и потерей из-за этого работы не нов. Периодически — по меньшей мере с начала промышленной революции — обостряются страхи технологической безработицы, при этом не столь многие пострадали от нее так же, как английские ткачи и их подмастерья, объединившиеся в начале XIX века под лозунгами легендарного Неда Лудда, больше известного как Генерал Лудд, для борьбы с механическими ткацкими станками. И тем не менее, хотя машины выполняют многие виды работ, они остаются дополнением к человеческому труду. Во многом благодаря этому дополнению средняя заработная плата людей растет во всем мире. Впрочем, все, что начинается как дополнение, со временем занимает главное место. Поначалу лошадь дополняла повозки и плуги, значительно повышая их производительность. Позднее лошадь полностью уступила свое место автомобилям и тракторам. Новшества сократили­ спрос на лошадиный труд и привели к резкому уменьшению популяции этих домашних животных. Не ждет ли аналогичная судьба и наш вид?

История лошади весьма показательна для обсуждаемой темы, поэтому продолжим ее, задавшись вопросом, почему лошади все еще встречаются. Одна из причин — существование ниш, где лошади продолжают удерживать первенство, например при патрулировании парков полицией. Но главная причина заключается в том, что у людей сложились любимые привычки, от которых они не собираются отказываться, например прогулки верхом и скачки. Эти предпочтения аналогичны тем, которые гипотетически будут у нас, людей, в будущем по отношению к определенным продуктам, сделанным человеческими руками. Хотя эта аналогия и наводит на определенные мысли, однако она не совсем точна, поскольку у лошадей до сих пор нет полного функционального аналога. Если появились бы недорогие автоматические устройства, напоминающие настоящих лошадей — способные скакать по лугам, имеющие в точности такую же форму и запах, дающие такие же тактильные ощущения, с такими же характерными привычками, — тогда спрос на биологических лошадей, скорее всего, сократился бы намного сильнее.

В результате резкого падения спроса на человеческий труд зарплаты могут упасть ниже уровня прожиточного минимума. То есть потенциально работники-люди рискуют очень сильно: речь идет не просто о снижении зарплат, понижении в должности или необходимости переобучения, а скорее о перспективах голодной смерти. Когда лошади морально устарели в качестве средства передвижения, многие были проданы на бойню и пошли на собачий корм, костную муку, кожу и клей. У этих животных не было альтернативного источника использования, который окупил бы их содержание. В США в 1915 году было около двадцати шести миллионов лошадей. К началу 1950-х годов осталось два миллиона.

Капитал и социальное обеспечение

В чем принципиальная разница между лошадьми и людьми? Суть в том, что у последних есть капитал. Эмпирически доказано, что долгосрочная доля капитала составляет примерно 30 процентов (хотя и подвержена резким краткосрочным колебаниям). Это значит, что 30 процентов мирового дохода получено владельцами капитала в качестве ренты, а оставшиеся 70 процентов — работниками в виде заработной платы. Если мы отнесем ИИ к капиталу, тогда с изобретением машинного интеллекта, способного полностью заменить работников-людей, их зарплаты упадут до уровня расходов на содержание работников-машин, способных их заменить, причем расходов очень низких, гораздо ниже прожиточного уровня человека — если исходить из предположения о высокой эффективности машин. То есть доля дохода, приходящаяся на работников-людей, снизится практически до нуля. Но это означает, что на долю капитала будет приходиться почти 100 процентов мирового ВВП. Поскольку в результате взрывного развития искусственного интеллекта мировой ВВП взлетит до небес (из-за появления огромного количества новых машин, заменяющих людей, а также технологических инноваций и позднее — приобретения обширных территорий в результате колонизации космоса), также значительно увеличится совокупный доход от капитала. Если его владельцами останутся люди, совокупный доход человечества вырастет до астрономических масштабов, несмотря на тот факт, что в этом сценарии люди уже не будут получать доходы в виде зарплаты.

То есть человечество в целом может сказочно разбогатеть. Но как будет распределено это богатство? В первом приближении доход от капитала должен быть пропорционален величине самого капитала. Учитывая астрономический мультипликативный коэффициент, даже небольшой капитал на стадии, предшествующей переходу, раздуется в огромное состояние после него. Однако в современном мире у многих людей капитал отсутствует. Это касается не только тех, кто живет в бедности, но и некоторых обладателей высоких доходов или человеческого капитала, имеющих отрицательную величину чистого богатства — в частности, множества молодых представителей среднего класса, у которых нет материальных активов, зато имеются долги по кредитным картам или кредитам на обучение. Но если сбережения могут принести крайне высокие проценты, то нужно иметь хотя бы начальный капитал, на который они могут быть начислены.

Тем не менее чрезвычайно богатыми могут стать даже те люди, у которых не было никакого состояния на началл переходного периода. Например, участники пенсионных программ, как государственных, так и частных, если средства этих программ хотя бы частично вложены в фондовый рынок. Те, кто в них не участвует, тоже разбогатеют благодаря филантропии новых богачей: из-за воистину астрономических масштабов нового Эльдорадо даже небольшая доля состояния, направленная на благотворительность, окажется очень большой суммой в абсолютном выражении.

Вполне возможно, что в переходный период останутся люди, которые все-таки будут получать вознаграждение за свой труд, хотя машины функционально превзойдут их во всех областях (а также станут дешевле, чем сотрудники-люди). Мы уже говорили, что могут сохраниться профессии, в которых люди как работники будут предпочтительнее по эстетическим, идеологическим, этическим, религиозным или иным не прагматичным мотивам. Вследствие резкого роста доходов у людей, оставшихся владельцами капитала, соответственно вырастет и спрос на таких работников. Новоиспеченные триллионеры и квадриллионеры смогут позволить себе заплатить щедрую премию за привилегию иметь продукты и услуги, произведенные «органической» рабочей силой — людьми. Здесь снова можно провести параллель с историей лошадей. После сокращения американской популяции лошадей к началу 1950-х годов до двух миллионов особей она начала быстро восстанавливаться и, по недавним статистическим данным, выросла до десяти миллионов голов. Этот рост обусловлен не спросом на лошадей в сельском хозяйстве или на транспорте, а скорее тем, что в результате экономического роста все больше американцев могут позволить себе следовать моде на владение лошадьми для удовольствия.

Еще одно важное отличие лошадей от людей, помимо наличия капитала у последних, состоит в том, что люди способны на политическую мобилизацию. Управляемые людьми правительства могут использовать фискальные полномочия государства для перераспределения частных прибылей или увеличения доходов за счет продажи привлекательных активов, принадлежащих государству, например земли, и использования этих средств на выплату пенсий своим гражданам. Повторим, что благодаря взрывному экономическому росту в переходный период и сразу после него благосостояние будет расти непомерно, и даже безработные окажутся довольно состоятельными людьми. Может так получиться, что какая-то отдельная страна получит возможность обеспечить достойный образ жизни каждому человеку на Земле, выделив на это долю своих доходов, не превышающую то, что сейчас многие страны тратят на благотворительность.

Мальтузианские условия в исторической перспективе

До сих пор мы исходили из того, что население Земли не растет. Это может быть обосновано в краткосрочной перспективе, поскольку скорость воспроизводства ограничена биологически. Однако на длинных временных интервалах это допущение перестает быть верным.

За последние девять тысяч лет человечество выросло тысячекратно. Темпы его роста могли бы быть гораздо более высокими, если бы не тот факт, что и в доисторические времена, и позднее население Земли постоянно упиралось в экономические пределы. Большую часть времени действовали условия, описанные Мальтусом: большинство людей получали доход на уровне прожиточного минимума, который едва-едва позволял им свести концы с концами и вырастить двух детей. Периодически случались временные и локальные передышки в результате эпидемий, голода и войн, которые сокращали численность населения, что несколько «освобождало» Землю, позволяя выжившим улучшить свой рацион и рожать больше детей, пока ряды не окажутся восполненными, а условия Мальтуса — восстановленными. Также благодаря социальному неравенству тонкая прослойка элит имела в своем распоряжении доход выше среднего (за счет чего-то, что понижало общий размер населения, которое в противном случае могло бы быть стабильным). Получается, что по мальтузианским условиям все то, что в обычном понимании представляется злейшим врагом благополучия человека: засухи, эпидемии, убийства и социальное неравенство — являются главными его благодетелями, поскольку только они способны время от времени поднять средний уровень жизни чуть выше прожиточного минимума. И это нормальное положение дел в течение большей части нашего пребывания на этой планете. Вызывает грустные и тревожные мысли.

Из истории видно, что, невзирая на местные колебания, происходит постоянное увеличение темпов экономического роста, подпитываемое накоплением технологических инноваций. Соразмерно росту мировой экономики растет и население планеты. (Похоже, растущее население само ускоряет темпы роста, возможно, за счет повышения коллективного интеллекта человечества.) Однако после промышленной революции экономический рост так ускорился, что рост населения Земли перестал ему соответствовать. Вследствие этого начал увеличиваться средний доход, вначале в странах Западной Европы, где индустриализация прошла раньше, а затем и во всем остальном мире. Сегодня даже в беднейших странах средний доход заметно превышает прожиточный минимум, что подтверждается ростом населения этих стран.

В наши дни самые высокие темпы роста населения наблюдаются как раз в беднейших странах, поскольку они еще не завершили «демографический переход» к режиму низкой фертильности, который наблюдается в более развитых обществах. Демографы прогнозируют, что к середине века число жителей планеты вырастет до девяти миллиардов, но после этого рост остановится или даже начнется спад, когда беднейшие страны присоединятся к развитому миру с его низким фертильным режимом. Во многих богатых странах коэффициент фертильности находится ниже уровня воспроизводства, причем часто — гораздо ниже.

При этом можно ожидать, что в долгосрочной перспективе технологическое развитие и экономическое благополучие приведут к возвращению в исторически и экологически нормальное состояние, при котором у населения планеты снова начнется жизнь впритык в отведенной ему нише. Если это кажется парадоксальным в свете отрицательной связи между богатством и рождаемостью, которую мы сейчас наблюдаем в мировом масштабе, нужно напомнить себе, что современная эпоха — очень короткий эпизод в истории человечества, по сути, аберрация. Поведение людей не приспособлено к современным условиям. Мы не только не пользуемся очевидными способами повысить свою совокупную приспособленность (такими, например, как донорство сперматозоидов и яйцеклеток), но еще и активно подавляем фертильность, используя контроль над рождаемостью. С точки зрения эволюционной приспособленности здорового сексуального влечения достаточно для совершения полового акта таким способом, который позволяет максимизировать репродуктивный потенциал; однако в современных условиях большое преимущество с точки зрения естественного отбора давало бы более выраженное желание стать биологическим родителем как можно большего количества детей. В наше время это желание подавляется, как и другие черты, стимулирующие нашу склонность к продолжению рода. Однако культурное приспособление может навредить биологической эволюции. В некоторых сообществах, например гуттеритов или сторонников христианского движения Quiverfull, сложилась наталистская культура поощрения больших семей, и, как следствие, они быстро растут.

Рост населения и инвестиции

Если представить, что макроэкономические условия волшебным образом застыли в их современном состоянии, то будущее будут определять культурные­ и этнические группы, в которых поддерживается высокий уровень рождаемости. Если в наше время большинство людей имели бы предпочтения, максимизировавшие приспособленность, население планеты могло бы легко удваиваться в каждом поколении. Если не проводилась бы политика ограничения рождаемости — а она становится все более суровой в своем противодействии тем, кто пытается ее обойти, — количество жителей нашей планеты могло бы расти в геометрической прогрессии, пока не столкнулось бы с такими проблемами, как нехватка земли и истощение простых инновационных возможностей. Это сделало бы невозможным продолжение экономического роста: средний доход начнет падать, пока не достигнет такого уровня, на котором бедность не позволит большинству людей иметь больше двух детей, которых они в состоянии вырастить. Так вновь захлопнулась бы мальтузианская ловушка, положив конец нашей эскападе в страну грез и снова, словно жестокий рабовладелец, заковав нас в цепи и заставив из последних сил бороться за выживание.

Из-за взрывного развития искусственного интеллекта, казалось бы, долгосрочный прогноз быстро перестанет быть столь долгосрочным. Программное обеспечение, как мы знаем, легко копируется, поэтому начнут стремительно появляться популяции имитационных моделей мозга или систем ИИ — буквально за минуты, а не десятилетия и века, — что совершенно истощит земные аппаратные ресурсы.

Защититься от тотального наступления мальтузианских условий, скорее всего, поможет частная собственность. Рассмотрим простую модель, в которой некие кланы (или закрытые сообщества, или страны) начинают с различного количества собственности и независимо друг от друга принимают различные стратегические решения относительно рождаемости и инвестиций. Некоторые кланы не думают о будущем и растрачивают свое состояние, в результате чего их обедневшие члены вливаются в ряды мирового пролетариата (или умирают, если не в состоянии прокормить себя). Другие кланы инвестируют часть своих финансовых средств и принимают политику неограниченной рождаемости — в результате они становятся все более многолюдными, пока не складываются мальтузианские условия, при которых население беднеет настолько, что смертность почти совпадает с рождаемостью, и с этого момента рост населения сравнивается с ростом имеющихся в его распоряжении ресурсов. При этом другие кланы могут ограничить у себя рождаемость до уровня, не превышающего темпы роста своего капитала­, такие кланы могли бы медленно увеличивать количество своих членов, притом что их доходы на душу населения также росли бы.

Если богатство перераспределяется от состоятельных кланов к быстро размножающимся и быстро растрачивающим свои ресурсы (чьи отпрыски, хотя и не по своей вине, появились в мире, где недостаточно капитала для выживания и процветания), тогда складываются классические мальтузианские условия. В предельном случае все члены всех кланов получают доход на уровне прожиточного минимума и все равны в своей бедности.

Если собственность не перераспределяется, у предусмотрительных кланов может сохраняться некоторая часть капитала, и их богатство способно расти в абсолютном выражении. Однако неясно, в состоянии ли люди обеспечить такую же доходность своего капитала, как машинный интеллект, поскольку может возникать синергия между трудом и капиталом: агент, имеющий и то и другое (например, предприниматель или инвестор, обладающий высоким интеллектом и большим состоянием), получит более высокий доход от своих вложений, чем в среднем по рынку получат агенты, обладающие сравнимыми финансовыми, но не интеллектуальными ресурсами. Поскольку люди будут уступать в интеллекте машинам, их капитал станет расти медленнее — если, конечно, не удастся окончательно решить проблему контроля, потому что тогда доходность человеческого капитала сравняется с доходностью машинного, ведь принципал-человек может поручить агенту-машине управлять своими сбережениями, причем делать это бесплатно и без конфликта интересов; но и в этом случае доля экономики, которой владеют машины, будет асимптотически приближаться к ста процентам.

Однако сценарий, в котором доля экономики, принадлежащей машинам, асимптотически приближается к ста процентам, не единственный вариант снижения человеческого влияния. Если экономика растет быстрыми темпами, тогда даже ее доля, уменьшающаяся относительно, может увеличиваться в абсолютном выражении. Это сравнительно неплохая новость для человечества: в многополярном сценарии с защищенными правами частной собственности общая величина богатства, принадлежащего людям, может расти даже в случае их неспособности решить проблему контроля. Конечно, данный эффект никак не устраняет возможность роста населения до такого уровня, на котором доход на душу упадет до прожиточного минимума, а также возможность обнищания людей, сбрасывающих будущее со счетов.

В долгосрочной перспективе в экономике начнут сильнее доминировать кланы с наиболее высокой нормой сбережений — скряги, владеющие половиной города и живущие под мостом. Наиболее процветающие из них станут проедать свои сбережения только том в случае, когда все возможности для инвестиций будут исчерпаны. Однако если защита прав собственности окажется неидеальной — например, когда наиболее эффективные машины смогут всеми правдами и неправдами скопить у себя ресурсы, принадлежавшие людям, — тогда капиталистам-людям, возможно, придется тратить свое состояние гораздо быстрее, пока оно совсем не растает в результате действий машин (или вследствие расходов на защиту от них). Если все это будет происходить с цифровой, а не биологической, скоростью, то люди оглянуться не успеют, как уже окажутся лишенными собственности.

Жизнь в цифровом мире

В переходный период образ жизни человека, живущего при мальтузианских условиях, не обязательно будет походить на одну из знакомых нам моделей (скажем, на образ жизни охотника, собирателя, фермера или офисного работника). Скорее всего, большинство людей будут влачить жалкое существование наподобие бездельника-рантье, которому сбережений едва хватает на жизнь впроголодь. Люди будут жить очень бедно, фактически на одни проценты или государственные пособия. Но при этом они будут жить в мире инновационных технологий — в мире не только сверхразумных машин, но и препаратов против старения и препаратов, доставляющих удовольствие; в мире виртуальной реальности и различных техник самосовершенствования. И вряд ли все это будет доступно большинству. Скорее всего, реальную медицину заменят лекарства для остановки роста и замедления метаболизма с целью экономии, поскольку для массы людей активная жизнь окажется невозможной (если учитывать постоянное снижение их и так минимальных доходов). По мере роста населения и снижения доходов люди могут регрессировать до состояния, минимально удовлетворяющего требованиям для выплаты пенсии, — возможно, это будет мозг с едва брезжущим сознанием, погруженный в контейнер и подключенный к снабжению кислородом и питательными жидкостями, который обслуживают машины и который способен накопить немного денег на воспроизводство путем клонирования себя специальным роботом-техником.

Еще большая бережливость будет обеспечиваться за счет моделирования мозга, поскольку физически оптимизированный вычислительный субстрат, созданный сверхразумом, может оказаться эффективнее, чем биологический мозг. Однако миграция в цифровую реальность будет замедляться тем, что имитационные модели не смогут считаться людьми или гражданами и соответственно не получат право на пенсию или на не облагаемый налогами сберегательный счет. В этом случае ниша для людей сохранится, наряду со все более крупной популяцией имитационных моделей и систем искусственного интеллекта.

Пока что все внимание было сосредоточено на судьбе наших потомков, чью жизнь могут поддерживать сбережения, пособия или заработная плата, получаемая за счет тех, кто нанимает работников-людей. Теперь переключим внимание на те сущности, которые мы до сих пор относили к капиталу: на машины, всегда принадлежавшие людям, — машины, сконструированные с целью выполнять те или иные функции и способные заменить человека в очень широком диапазоне задач. Каким будет положение этих рабочих лошадок новой экономики?

Обсуждать было бы нечего, если все эти машины остались бы автоматами, простыми устройствами вроде парового двигателя или часового механизма — такого добра в постпереходной экономике будет много, но, похоже, вряд ли кто-то заинтересуется этим бездушным набором комплектующих. Однако если у машин будет сознание — если они будут сконструированы так, что смогут осознавать свою исключительность (или им по иным причинам будет приписан моральный статус), — тогда важно включать их в мировую систему. Благополучие работников-машин окажется наиболее важным аспектом постпереходного периода, поскольку они будут доминировать количественно.

Добровольное рабство, случайная смерть

Первый напрашивающийся вопрос: работниками-машинами будут владеть как капиталом (рабами) или их станут нанимать за заработную плату? Однако при ближайшем рассмотрении возникают сомнения, что от ответа будет что-то зависеть. На то есть две причины. Во-первых, если свободный работник в мальтузианских условиях получает зарплату на уровне прожиточного минимума, в его распоряжении не остается средств после оплаты питания и других базовых потребностей. Если работник является рабом, то за его содержание платит хозяин, и все равно у раба не остается свободных средств. В обоих случаях работник получает лишь самое необходимое и ничего сверх того. Во-вторых, предположим, что свободный работник смог каким-то образом обеспечить себе доход выше прожиточного минимума (возможно, благодаря благоприятной системе регулирования). Как он потратит эту прибавку? Для инвесторов самым выгодным было бы создать виртуальных работников-«рабов», готовых трудиться за зарплату на уровне прожиточного минимума. Сделать это можно было бы, копируя тех работников, которые уже согласились на такие условия. Путем соответствующего отбора (и, возможно, некоторого изменения кода) инвесторы могли бы создать работников, которые не только предпочтут трудиться добровольно, но и решат пожертвовать своим работодателям все дополнительные доходы, если такие вдруг появятся. Однако после передачи денег работнику они по кругу вернутся к его владельцу или работодателю, даже если работник является свободным агентом, наделенным всеми юридическими правами.

Возможно, кто-то, возражая, заметит, насколько трудно создать машину, согласную добровольно выполнять любую работу или жертвующую свою зарплату своему же владельцу. Но у имитационных моделей должны быть особенно близкие людям мотивы. Обратите внимание, что если первоначальная проблема контроля, которую мы рассматривали в предыдущих главах, казалась трудновыполнимой, то сейчас мы говорим об условиях переходного периода — когда, видимо, методы выбора мотивации будут доведены до совершенства. Тем более если речь идет об имитационных моделях, то можно было бы добиться многого, просто отбирая нужные человеческие характеры. Наверное, проблема контроля будет в принципе упрощена, если предположить, что новый машинный интеллект включится в стабильную социоэкономическую матрицу, уже населенную другими законопослушными сверхразумными агентами.

Поэтому предлагаю остановиться на бедственном положении машин-работников, независимо от того, являются ли они рабами или свободными агентами. Вначале поговорим об эмуляторах, поскольку их представить легче всего.

Чтобы в мире появился новый работник-человек со своим профессиональным опытом и необходимыми навыками, потребуется от пятнадцати до тридцати лет. В течение всего этого времени человека нужно кормить, воспитывать, обучать, ему понадобится кров — все это большие расходы. Напротив, создать новую копию цифрового работника так же легко, как загрузить очередную программу в оперативную память. То есть жизнь становится дешевле. Компания может постоянно подстраивать свою рабочую силу под меняющиеся требования за счет создания новых копий — и уничтожения старых, чтобы освободить компьютерные ресурсы. Это может привести к чрезвычайно высокой смертности среди работников-машин. Жизнь многих из них будет ограничена одним субъективным днем.

Могут быть и другие причины помимо колебаний спроса, по которым работодатели или владельцы эмуляторов захотят часто убивать (отключать) своих работников. Если для нормального функционирования эмулятору мозга, как и биологическому мозгу, требуются периоды отдыха и сна, может быть дешевле стирать изнуренную имитацию в конце дня и заменять ее записанным состоянием свежей и отдохнувшей имитации. Поскольку такая процедура приводила бы к ретроградной амнезии всего выученного за день, эмуляторы, занятые выполнением задач, которые требуют формирования длительных когнитивных цепочек, смогут избежать частых стираний. Трудно писать книгу, если каждое утро, садясь за стол, не помнишь ничего из созданного накануне. Но агентов, выполняющих не столь интеллектуальные виды работ, вполне можно перезапускать, и делать это довольно часто — от единожды обученного продавца или сотрудника, обслуживающего клиентов, потребуется «удерживать» нужную информацию не более двадцати минут.

Поскольку перезапуски не позволяют формироваться памяти и навыкам, некоторые эмуляторы могут быть помещены в специальную обучающую среду, в которой они будут пребывать непрерывно, в том числе в периоды отдыха и сна, даже если их работа и не требует длинных когнитивных цепочек. При таких оптимальных условиях могли бы работать в течение долгих лет некоторые агенты по обслуживанию клиентов — причем при поддержке тренеров и экспертов по оценке производительности. Лучших учеников можно было бы использовать в качестве «племенных жеребцов», то есть по их шаблону каждый день штамповали бы миллионы свежих копий. В эти шаблоны есть смысл вкладывать большие средств, поскольку даже небольшое приумножение их продуктивности обеспечивало бы заметный экономический эффект, будучи растиражированным миллионы раз.

Параллельно с задачей обучения работников-шаблонов выполнению определенных функций огромные усилия будут прилагаться с целью совершенствования­ технологии их эмуляции. Успехи в этом направлении были бы даже более ценными, чем успехи в обучении индивидуальных работников-шаблонов, поскольку улучшение технологии эмуляции применимо ко всем работникам-эмуляторам (и, потенциально, к другим имитационным моделям тоже), а не только к занятым в одной определенной области. Можно направить огромные ресурсы на поиск вычислительных коротких путей, позволяющих создавать эмуляторы более эффективно, а также разрабатывать нейроморфные и полностью синтетические архитектуры ИИ. Эти исследования, вероятно, проводились бы тоже эмуляторами, запущенными на очень быстрой аппаратной основе. В зависимости от стоимости вычислительной мощности могли бы круглосуточно работать миллионы, миллиарды или триллионы имитационных моделей мозга самых проницательных исследователей-людей (или их улученных версий), раздвигая границы машинного интеллекта; некоторые из них могли бы действовать на порядки быстрее, чем биологический мозг. Это весомая причина полагать, что эра человекоподобных эмуляторов будет короткой — очень короткой по звездному времени — и что ей придет на смену неизмеримо превосходящий их искусственный интеллект.

Мы уже перечислили несколько причин, по которым работодатели эмуляторов могут периодически выбраковывать свои стада: колебания спроса на работников различного вида деятельности; экономия на времени отдыха и сна; появление новых усовершенствованных шаблонов. Еще одной причиной могут быть соображения безопасности. Чтобы имитации-работники не вынашивали враждебные планы и не плели заговоры, эмуляторы, занятые на особенно важных позициях, могли бы запускаться на ограниченное время с частым сбросом к исходному состоянию готовности.

Эти исходные состояния, к которым будут возвращать настройки эмуляторов, следует очень тщательно готовить и перепроверять. Типичный эмулятор с коротким жизненным циклом, которого оптимизировали с точки зрения его лояльности и производительности, мог бы чувствовать себя на следующее утро просто хорошо отдохнувшим. Он помнил бы, что после многих (субъективных) лет интенсивного обучения и отбора стал лучшим среди своих однокашников, что только что набрался сил в отпуске, выспался, прослушал воодушевляющую побудительную речь и бодрую музыку, и теперь ему не терпится сделать максимум возможного для своего работодателя. Его мало беспокоят мысли о неотвратимой смерти в конце рабочего дня. Эмуляторы, страдающие страхом смерти и прочими неврозами, менее продуктивны и потому не могут быть отобраны в качестве шаблона.

В высшей степени тяжелый труд как высшая степень счастья

Оценивая желательность подобных гипотетических ситуаций, важно принимать во внимание гедонистическое состояние среднего эмулятора. Страдать или наслаждаться будет типичный работник-эмулятор, выполняя свою трудную работу?

Нам не следует поддаваться соблазну проецировать собственные чувства и ощущения на воображаемого цифрового работника. Вопрос не в том, были бы вы счастливы, если вам пришлось бы постоянно трудиться и не иметь возможности видеться со своими любимыми, — это ужасная судьба, спору нет.

Несколько правильнее было бы взять за основу гедонистический опыт современных людей в течение обычного рабочего дня. Во всем мире проводились исследования, в ходе которых респондентам задавали вопрос, насколько они счастливы, и большинство выбирало ответы от «довольно счастливы» до «очень счастливы» (средний балл 3,1 на шкале от 1 до 4). Исследования среднего эмоционального состояния, в которых у респондентов спрашивали, какие из положительных или отрицательных эмоций они испытывали недавно, как правило, дают аналогичные результаты (средний балл 0,52 по шкале от –1 до 1). Есть небольшая зависимость среднего субъективного благополучия от размера ВВП на душу населения страны. Однако было бы ошибкой экстраполировать эти данные на гедонистическое состояние будущих работников-эмуляторов. Одна из причин заключается в том, что их условия будут совершенно другими: с одной стороны, они могут работать гораздо больше; с другой, они будут свободны от болезней, мышечной боли, голода, неприятных запахов и многого другого. Хотя такие соображения не говорят о главном. Гораздо важнее, что их ощущение наслаждения можно легко корректировать при помощи цифрового эквивалента лекарств или нейрохирургии. Это значит, что было бы ошибкой делать выводы о гедонистическом состоянии будущих эмуляторов на основании внешних условий их жизни, тем более представляя себя на их месте. Гедонистическое состояние — вопрос сознательного выбора. В модели, которую мы сейчас обсуждаем, этот выбор за своих работников делает владелец капитала­, стремящийся максимизировать доходность своих инвестиций в тружеников-эмуляторов. Соответственно вопрос, насколько счастливы они будут, сводится к выяснению, какие гедонистические состояния наиболее продуктивны (для решения различных задач, которые будут поставлены перед этими имитационными моделями).

И снова прошу воздержаться от поспешных выводов. Если оказывается, что независимо от эпох, географии и рода занятий человек обычно бывает в меру счастлив, это может склонить в пользу того, что такое же положение сохранится и в постпереходный период. То есть речь не о том, что раз человеческий мозг предрасположен к восприятию счастья, то, вероятно, он будет «удовлетворен» и в новых условиях; скорее, мы имеем в виду, что раз определенный уровень счастья оказался достижимым для человеческого мозга в прошлом, то аналогичный уровень счастья, возможно, будет доступен имитационным моделям человеческого мозга в будущем. Хотя эта формулировка также показывает слабость умозаключения, а именно: психические состояния, характерные для гоминид, занимающихся охотой и собирательством в африканской саванне, не обязательно пригодны для модифицированных версий человеческого мозга, живущих в условиях постпереходной виртуальной реальности. Конечно, мы можем надеяться, что будущие работники-эмуляторы будут столь же счастливы или даже счастливее, чем работники-люди на протяжении всей своей человеческой истории; но нам придется поискать более убедительные причины для подтверждения этого предположения (в нашем сценарии мультиполярного мира, выстраиваемого по принципу laissez-faire).

Предположим, что причина превалирования состояния счастья среди людей (в той степени, в которой оно преобладает) состоит в том, что эта положительная эмоция служила сигнальной функцией в условиях эволюционного приспособления. Создание у других членов социальной группы впечатления о собственном процветании: я здоров, отлично лажу с окружающими и уверен в своем благополучном будущем — могло повышать популярность индивидуума. Поэтому склонность к жизнерадостности могла быть критерием отбора, в результате чего биохимия мозга современного человека оказалась смещена в пользу более позитивного восприятия мира, чем то, которое было бы максимально эффективным в соответствии с более простым материалистическим критерием. Если это было бы так, то будущая joie de vivre может зависеть от того, сохранит ли в постпереходном мире эмоция радости свою сигнальную функцию, играющую социальную роль. (К этому вопросу мы вскоре вернемся.)

Тратит ли человек радостный больше энергии, чем человек угрюмый? Может быть, счастливые люди больше склонны к творческим порывам и полетам фантазии — поведение, которое вряд ли будет приветствоваться будущими работодателями. Возможно, угрюмая и тревожная сосредоточенность на безошибочном выполнении конкретного задания станет самым желанным образом действий для большинства видов трудовой деятельности. Мы не считаем, что это так, мы лишь говорим, что не знаем, что это не так. И все же нам следует подумать, насколько плоха может быть ситуация, если одна из таких пессимистичных гипотез относительно будущих мальтузианских условий окажется истинной: не только из-за «цены выбора» в создании чего-то лучшего и даже грандиозного, но также потому, что это состояние может быть плохим само по себе, возможно, гораздо более плохим, чем мальтузианские условия.

Мы редко работаем в полную силу. Но когда мы так делаем, чувствуем, как это болезненно. Представьте, что вы бежите по беговой дорожке с уклоном вверх: сердце колотится, мышцы болят, легким не хватает воздуха. Короткий взгляд на таймер: следующий отдых ожидается через 49 лет, 3 месяца, 20 дней, 4 часа, 56 минут и 12 секунд — это же и момент вашей смерти. Впору пожалеть, что родился.

И снова речь не о том, что все будет именно так, — проблема в отсутствии уверенности, что все будет иначе. Конечно, можно представить и более оптимистичную картину. Например, нет очевидной причины, по которой эмуляторы должны страдать от физического недомогания и болезней, поскольку они будут лишены уязвимой физической оболочки — что было бы большим достижением по сравнению с нынешним положением дел. Более того, поскольку виртуальная реальность довольно дешевая, эмуляторы могут работать в роскошных условиях: в прекрасных дворцах на вершинах гор, на террасах, выходящих в цветущий весенний сад, на солнечных пляжах, омываемых лазурным океаном, — с правильными освещением и температурным режимом, пейзажем и декором; их не побеспокоят неприятные запахи, шумы, сила тяжести и жужжащие насекомые; они будут облачены в комфортную одежду, ощущать ясность мысли и сосредоточенность внимания, хорошо питаться. Еще более важно, что если у людей оптимальным психическим состоянием для максимальной продуктивности в большинстве видов работ является радостная жажда деятельности — видимо, так оно и есть, — то цифровая эпоха имитационных моделей может оказаться похожей на рай.

В любом случае было бы ценно организовать все так, чтобы у кого-то или чего-то была возможность вмешаться и все исправить в случае, если выбранная траектория окажется ведущей в антиутопию. Также было бы желательно оставить что-то вроде спасательного люка, который позволял бы сбежать в смерть и забвение в случае, если качество жизни постоянно оказывается ниже того уровня, когда исчезновение становится предпочтительнее продолжения существования.

Аутсорсеры, лишенные сознания?

В долгосрочной перспективе, когда эпоху эмуляторов сменит эпоха искусственного интеллекта (или если машинный интеллект появится сразу, минуя стадию имитационной модели головного мозга), в сценарии многополярного мира страдания и удовольствия могут исчезнуть совсем, поскольку гедонистический механизм вознаграждения окажется не самой эффективной системой стимуляции сложного искусственного агента, который, в отличие от человеческого мозга, не обременен наследием нервной системы животных. Возможно, более совершенная система мотивации будет основана на явном выражении функции полезности или на какой-то иной архитектуре, в которой отсутствуют прямые функциональные аналоги удовольствия и страданий.

Близким, но несколько более радикальным вариантом многополярного мира — в принципе, лишенного привычных нам систем ценностей — является такой сценарий, по которому мировой пролетариат полностью будет лишен сознания. Вероятность этого особенно велика в случае ИИ, который может быть структурирован совершенно не так, как человеческий интеллект. Но даже если машинный интеллект вначале возникнет в результате полной эмуляции головного мозга, дав старт появлению обладающих сознанием цифровых агентов, сохранение конкуренции в постпереходной экономике вполне способно привести к возникновению прогрессивных и менее нейроморфных форм машинного интеллекта — или в результате создания синтетического ИИ с нуля, или в результате последовательных модификаций и улучшений имитационных моделей, причем в процессе совершенствования эмуляторы начнут все больше терять человеческие характеристики.

Рассмотрим сценарий, по которому после появления технологии полной эмуляции головного мозга продолжающийся прогресс в нейробиологии и кибернетике (подстегиваемый наличием эмуляторов, работающих как в качестве исследователей, так и объектов экспериментов) сделал бы возможным изоляцию эмулированных индивидуальных когнитивных модулей и подключение их к аналогичным модулям, изолированным от других эмуляторов. Чтобы такие стандартные модули могли эффективно сотрудничать, им потребуется период обучения и притирки, после которого они будут в состоянии взаимодействовать быстрее. Это повысит их продуктивность и стимулирует дальнейшую стандартизацию.

После этого эмуляторы смогут начать передавать на аутсорсинг большую часть своего функционала. Зачем учиться складывать и умножать, если можно переслать задачу, требующую знания математики, в компанию Gauss Modules, Inc.? Зачем уметь говорить, если можно привлечь к переводу своих мыслей в слова агентство Coleridge Conversation? Зачем принимать решения о своей личной жизни, если существуют сертифицированные исполнительные модули, способные сканировать вашу систему ценностей и управлять вашими ресурсами так, что ваши замыслы удастся воплотить быстрее, чем если бы вы занимались этим сами? Некоторые эмуляторы могут предпочесть сохранить за собой большую часть собственного функционала и выполнять самостоятельно даже те задачи, с которыми более эффективно справились бы другие. Они будут похожи на любителей, с удовольствием разводящих овощи или вяжущих свитеры. Но эти эмуляторы-дилетанты так и не станут профессионалами, поэтому, если рабочий поток будет перенаправлен от малоэффективных игроков к более эффективным, — такие имитационные модели непременно окажутся в проигрыше.

Таким образом, бульонные кубики отдельных человекоподобных умов растворятся и превратятся в однородное алгоритмическое варево.

Можно предположить, что оптимальная эффективность будет обеспечена за счет группировки модулей, отвечающих за различные способности, в структуры, отдаленно напоминающие систему когнитивных функций человеческого мозга. Вполне возможно, например, что математический модуль должен быть связан с языковым, и оба они — с исполнительным, чтобы все три могли работать вместе. Тогда когнитивный аутсорсинг окажется практически бесполезным. Но пока тому нет убедительных подтверждений, мы должны считать, что человекоподобная когнитивная архитектура оптимальна только внутри ограничений, связанных именно с человеческой неврологией (а может быть, и вообще не оптимальна). Когда появятся перспективные архитектуры, которые не могут быть хорошо реализованы на биологических нейронных сетях, возникнет необходимость в качественно новых решениях, и наиболее удачные из них уже почти не будут напоминать знакомые нам типы психики. Тогда человекоподобные когнитивные схемы начнут терять свою конкурентоспособность в новых экономических и экосистемных условиях постпереходной эпохи.

То есть вполне могут существовать свои ниши для разумных систем: менее сложных — таких как индивидуальные модули; более сложных — таких как огромные кластеры модулей; сравнимых по сложности с человеческим мозгом, но с радикально иной архитектурой. Будут ли таким системам присущи хоть какие-то ценности? Следует ли нам приветствовать рождение мира, в котором эти чужеродные системы заменят человеческий мозг?

Ответ на этот вопрос может зависеть от конкретной природы таких систем. В современном мире существует много уровней организации. Есть очень сложные структуры высокого уровня, например государства и транснациональные корпорации, состоящие из множества людей, но за этими структурами мы обычно признаем лишь инструментальную ценность. Государства и корпорации (как принято считать) не обладают сознанием сверх сознания людей, составляющих их: они не в состоянии почувствовать страдание, удовольствие или испытать какие-либо иные чувства. Мы ценим их лишь постольку, поскольку они обслуживают потребности людей, а когда они не справляются со своей задачей, мы «убиваем» их без малейшего раскаяния. Есть структуры более низкого уровня, также обычно лишенные морального статуса. Мы не видим никакого вреда в том, чтобы удалить приложение из смартфона, мы не считаем, будто нейрохирург вредит человеку, страдающему эпилепсией, когда удаляет у него неправильно функционирующий отдел мозга. Большинство людей призна́ет моральный статус сложных систем уровня человеческого мозга только в случае, если они будут способны получать сознательный опыт.

В крайнем случае можно представить высокоразвитое с технологической точки зрения общество, состоящее из множества сложных систем, в том числе гораздо более сложных и интеллектуальных, чем все, что существует на планете сегодня, — общество, совершенно лишенное кого-либо, кто обладал бы сознанием или чье благополучие имело бы какое-либо моральное значение. В некотором смысле это было бы необитаемое общество. Общество экономических и технологических чудес, никому не приносящих пользы. Диснейленд без детей.

Эволюция — путь наверх или не обязательно?

Слово эволюция часто используется в качестве синонима слова прогресс, что, возможно, отражает общепринятое некритическое восприятие эволюции как доброй силы. Необоснованная вера в изначальную благотворность эволюционного процесса может уступить место беспристрастной оценке целесообразности многополярного исхода, в котором будущее разумной жизни определяется конкурентной динамикой. Любая такая оценка должна быть основана на некотором (хотя бы подразумеваемом) представлении о распределении вероятности различных фенотипов, которые смогут приспособиться к цифровой жизни постпереходного периода. Даже в самых благоприятных обстоятельствах было бы трудно извлечь четкий и правильный ответ из опутывающей эту тему паутины неизбежной неопределенности — тем более если мы еще внесем свой вклад и добавим изрядное количество наивного оптимизма.

Возможным источником веры в поступательное движение эволюции является восходящая динамика эволюционного процесса в прошлом. Начав с простейших делящихся клеток, эволюция порождала все более «развитые» организмы, в том числе существа, наделенные мозгом, сознанием, языком и мышлением. Позднее именно те культурные и технологические процессы, которые имеют отдаленное сходство с эволюционными, позволили человечеству развиваться ускоренными темпами. И на геологической, и на исторической шкале превалирует тенденция к повышению уровня сложности, знаний, сознания и скоординированной организации в достижении целей — тенденция, которую, если не стремиться к чрезмерной точности определений, можно было бы назвать прогрессом.

Во-первых, в нашем представлении эволюция как процесс, стабильно приносящий благо, с трудом совмещается со страданием, которое мы видим как в мире людей, так и в мире природы. Кто приветствует достижения эволюции, делают это скорее с эстетической, чем с этической стороны. Хотя в первую очередь нас должен волновать вопрос не о том будущем, которое мы для себя откроем в новом научно-фантастический романе или фильме, а о будущем, в котором всем нам было бы хорошо жить, — между тем и другим лежит огромная разница.

Во-вторых, у нас нет причин думать, что даже прогресс, имевший место в прошлом, был неизбежен. Многое можно отнести на счет удачи. Это соображение основано на том, что благодаря эффекту выбора наблюдателя нам доступны лишь свидетельства об успешном ходе собственной эволюции.

Предположим, что с вероятностью 99,9999 процента на всех планетах, где возникла жизнь, она погибла прежде, чем разумный наблюдатель мог начать размышлять о своем происхождении. Если это так, что мы могли бы ожидать увидеть? Вероятно, ровно то же самое, что видим сейчас. Гипотеза, что шансы разумной жизни появиться на той или иной планете малы, как раз и означает, что мы скорее окажемся не там, где жизнь существует лишь на начальной стадии, а там, где уже появилась разумная жизнь, даже если такие планеты представляют собой очень небольшую долю всех планет, на которых зародилась примитивная жизнь. Поэтому долгая история жизни на Земле не может служить надежным подкреплением, что была большая доля вероятности — не говоря уже о неизбежности — появления на нашей планете высокоразвитых организмов.

В-третьих, нет никаких гарантий, что эти идеи мелиоризма собираются вместе с нами шагнуть в наше будущее — даже если нынешние условия были бы идеальными, даже если можно было бы показать неизбежность их возникновения из некоторых универсальных исходных условий. Это справедливо даже в том случае, если мы исключим катаклизмы, способные привести к гибели человечества, и даже в том случае, если предположим, что в результате эволюционного развития будут продолжать появляться все более и более сложные системы.

Ранее мы предположили, что интеллектуальные работники-машины, отобранные по критерию максимальной продуктивности, будут трудиться чрезвычайно много, но неизвестно, смогут ли они при этом чувствовать себя счастливыми. Мы даже допустили, что некоторые из них могут вообще не иметь сознания, но именно они будут лучше всех приспособлены к конкурентной гонке будущей цифровой жизни. После полной потери восприятия, а потом утраты сознания, они лишатся всех прочих качеств, которые большинством людей считаются необходимыми для нормальной жизни. Современный человек ценит музыку, шутку, любовь, искусство, игры, танцы, разговоры, философию, литературу, приключения, путешествия, еду, выпивку, дружбу, детей, спорт, природу, традиции, духовные ценности и множество других вещей. Нет никакой гарантии, что хоть один пункт из перечисленного останется в жизни тех, кто приспособится к новым условиям. Наверное, максимально увеличить шансы на выживание сможет лишь одно свойство — готовность безостановочно и интенсивно трудиться, выполняя скучную и монотонную работу, цель которой состоит в улучшении восьмого знака после запятой какого-то экономического показателя. В этом случае отобранные в ходе эволюции фенотипы будут лишены перечисленных выше качеств и в зависимости уже от вашей системы ценностей покажутся вам существами либо отвратительными, либо никчемными, либо всего лишь жалкими, — но в любом случае бесконечно далекими от той великой Утопии, которая все-таки стоит нашего доброго слова.

Невольно возникает вопрос: почему столь богатое прошлое и столь насыщенное настоящее — со всеми нашими чувствами, привязанностями, мыслями и пристрастиями — может породить столь убогое будущее? Как это согласовать друг с другом? И невольно возникает контрвопрос: если все человеческие увлечения и занятия действительно так «бессмысленны», то почему они сохранились и даже развились в ходе эволюционного процесса, сформировавшего наш вид? Современный человек с его эволюционным дисбалансом не может поставить их себе в вину: наши предки из эпохи плейстоцена тоже тратили на это свою энергию. Многие поведенческие стереотипы даже нельзя назвать уникальными, поскольку они свойственны не только Homo sapiens. Например, демонстративное поведение по типу «боевой раскраски» встречается в самом разном контексте: от брачных игр в животном мире до противостояния государств и народов.

Хотя в нашу задачу не входит подробное эволюционное объяснение таких моделей поведения, тем не менее считаю нужным заметить, что многие присущие им функции отпадут сами собой в будущем, при новых условиях существования искусственного интеллекта. Возьмем, например, игру — этот особый вид социального поведения, характерный лишь для некоторых видов живых организмов и распространенный в основном среди молодых особей, — во многом игра представляет способ приобретения личностных и социальных навыков, необходимых для полноценной жизни. Но в постпереходный период функции игрового поведения перестанут иметь сколь-нибудь значимый смысл, так как появится возможность или создавать сразу «взрослые» имитационные модели, уже владеющие некоторой суммой зрелых навыков, или импортировать непосредственно в систему одного ИИ знания и умения, достигнутые другим ИИ.

Многие образцы демонстративного поведения человека могли сложиться в ходе эволюционных попыток инсценировать иногда на первый взгляд неуловимые достоинства, такие как: физическая стойкость; психологическая и эмоциональная устойчивость; положение в обществе; чувство локтя; предприимчивость и находчивость; готовность и умение побеждать. Приведем классический случай, принадлежащий, правда, миру животных, — павлин со своим знаменитым хвостом. Только самец, абсолютно уверенный в собственном достоинстве, как правило физическом, может позволить себе иметь столь вызывающее оперение и умело пользоваться им, — самки хорошо усвоили этот эволюционный сигнал и считают такую экстравагантность крайне привлекательной. Поведенческие особенности в не меньшей степени, чем морфологические, способны сигнализировать о генетической приспособленности и иных социально значимых признаках.

Учитывая, что демонстративное поведение столь распространено и среди людей, и среди других биологических видов, возникает вопрос: не войдет ли оно и в репертуар усовершенствованных технологических форм существования. Допустим, в грядущем пространстве интеллектуальных информационных экосистем не останется места для проявления таких свойств, как веселость, игривость, музыкальность и даже сознание, — в смысле их практического применения. Но, может быть, эти качества все-таки окажутся полезными с эволюционной точки зрения и дадут некоторое преимущество их обладателям, которым будет проще сигнализировать о своей адаптивности к новым условиям?

Конечно, довольно трудно устанавливать заранее, насколько удастся в будущем согласовать сегодняшнюю систему ценностей с адаптивной системой цифровой экологии. Тем более что поводов для скептицизма хватает.

Во-первых, многие встречающиеся в природе стереотипы демонстративного поведения связаны с выбором полового партнера; причем эти проявления особенно яркие, а для человека еще и дорогостоящие. Но практически бесполым технологическим формам существования вряд ли придется задумываться над проблемой полового отбора.

Во-вторых, у технологически оснащенных агентов отпадет необходимость в демонстративном поведении, поскольку в их распоряжении появятся новые надежные и незатратные способы передачи информации о себе. Даже сегодня профессиональные кредиторы при оценке платежеспособности предпочитают доверять документальным доказательствам, то есть свидетельствам о праве собственности и банковским выпискам, а не полагаться на роскошный внешний вид клиента — костюм из последней коллекции модного дизайнера и часы Rolex. В будущем для получения нужных данных смогут привлекать специальные аудиторские фирмы, которые станут выдавать своим клиентам справки о наличии тех или иных качеств агента на основе анализа его поведенческих характеристик, или изучения его действий в смоделированных условиях, или прямого считывания его исходного кода. Если агент даст согласие на проведение подобной проверки, то это будет достаточным свидетельством, что с требуемыми свойствами у него все в порядке, и даже более эффектным подтверждением, чем прямая их демонстрация. Подделывать признаки, выявленные опосредованным, но профессиональным путем, окажется слишком трудным и дорогостоящим занятием — что, между прочим, является основным доказательством их достоверности, — но в случае подлинности признаков будет намного легче и дешевле передавать их цифровым способом, а не демонстрировать естественным образом.

В-третьих, не все варианты демонстративного поведения имеют равную значимость и одинаково желательны с точки зрения общества. А некоторые просто абсурдны в своей расточительности. Например, публичное уничтожение большого количества накопленного имущества индейцами квакиутл во время демонстративного обмена дарами между племенами, когда происходило своего рода соревнование вождей за максимальное влияние и авторитет, только орудием борьбы выступало их богатство, — эта традиционная церемония называлась «потлач». Современными аналогами потлача можно считать рекордно высокие небоскребы, очень крупные и непомерно дорогие яхты, а также попытки строительства ракет для полета на Луну. И если мы абсолютно разделяем мнение, что музыка и хорошая шутка повышают качество человеческой жизни, то вряд ли то же самое относится к приобретению безумно дорогих модных аксессуаров и прочих статусных предметов роскоши. Хуже всего, когда безрассудное демонстративное поведение наносит непоправимый вред: довольно часто неумеренная мужская бравада приводит к прямому насилию и бряцанию оружием. Даже если в будущем разумные формы существования и воспользуются «сигнальной системой» демонстративного поведения, то все равно остается открытым вопрос о ценности выражаемого достоинства. Будет ли оно как восхитительная соловьиная трель, или как односложное карканье вороны, или как непрерывный лай взбесившейся собаки?

А потом появится синглтон?

Даже если непосредственным результатом перехода к машинному интеллекту окажется многополярный мир, несколько полюсов силы никак не отменяют в дальнейшем появление синглтона. Так естественным образом реализуется очевидная и очень долго длящаяся тенденция к общемировой консолидации политических сил. Как это будет происходить?

Второй переход

В процессе превращения первоначального многополярного уклада в сингл­тон после первого перехода должен произойти второй технологический переход, причем довольно резкий, чтобы у одной из сил, способной воспользоваться моментом и сформировать синглтон, появилось решающее конкурентное преимущество. Гипотетический второй переход может быть вызван мощным достижением в разработке более высокого уровня сверхразума. Например, если первая волна машинного сверхразума будет основана на имитационных моделях, то второй виток начнется, когда эмуляторы, занимающиеся дальнейшими исследованиями, добьются успеха в создании эффективного ИИ, способного к самосовершенствованию. (Может быть, ко второму переходу приведет прорыв или в нанотехнологиях, или военных технологиях, или любых иных универсального назначения, которые мы сегодня даже не в состоянии вообразить.)

Скорость развития первого постпереходного периода, скорее всего, будет чрезвычайно высокой. Поэтому вполне вероятно, что к решающему стратегическому преимуществу, которое образуется у лидирующей силы, может привести даже небольшой разрыв между ней и ее ближайшим конкурентом. Предположим, первый переход был совершен двумя вырвавшимися вперед проектами с разницей в несколько дней, но поскольку сам взлет оказался слишком медленным, то этот небольшой разрыв не обеспечил лидирующему проекту решающего стратегического преимущества. Оба проекта обрели мощь сверхразума, но один из них на несколько дней раньше. Однако теперь исследования идут на временной шкале машинного сверхразума, возможно, в тысячи миллионов раз быстрее, чем когда их проводили ученые-люди. Появление технологии, способной привести ко второму переходу, видимо, произойдет в течение дней, часов или минут. Даже если у лидера был запас всего в несколько дней, этот прорыв способен сработать как катапульта и обеспечить ему абсолютное стратегическое преимущество. Однако обратите внимание: если диффузия технологий (за счет шпионажа или по иным каналам) ускорится так же, как их развитие, эффект молниеносности может сойти на нет. Тогда останется единственный важный фактор — крутизна второго перехода, то есть скорость, с которой он произойдет относительно обычного для постпереходного периода темпа событий. (В этом смысле чем быстрее все происходит после первого перехода, тем менее крутым будет второй.)

Также можно предположить большую вероятность, что в случае второго перехода (или одного из последующих) решающее стратегическое преимущество будет использовано для формирования синглтона. После первого перехода агенты, принимающие решения, будут или сами обладать сверхразумом, или пользоваться советами сверхразума, который проанализирует имеющиеся варианты стратегического выбора. Более того, ситуация, сложившаяся после первого перехода, может быть менее опасной для агрессора с точки зрения нанесения упреждающего удара по конкурентам. Если разум­, принимающий решение после первого перехода, существует в цифровом виде, его легче скопировать и тем самым сделать менее уязвимым для контр­атак. Агрессора не сильно напугает удар возмездия со стороны обороняющихся сил и уничтожение девяти десятых его населения — ведь у него есть возможность немедленно восстановить баланс благодаря резервным копиям. Разрушение инфраструктуры (которая тоже может быть быстро восстановлена) тоже не станет критичным для цифрового разума с практически неограниченным­ жизненным циклом, поскольку он наверняка запланировал и увеличение имеющихся ресурсов, и расширение влияния в космологическом масштабе времени.

Суперорганизмы и эффект масштаба

На размер согласованности институциональных механизмов людей, таких как корпорации или государства, влияет множество параметров: технологических, военных, финансовых и культурных, — которые могут различаться в разные исторические эпохи. Революция машинного интеллекта приведет к глубоким изменениям в этих параметрах. Возможно, такие изменения вызовут формирование синглтона. Хотя, не видя деталей этих потенциальных изменений, нельзя исключить и противоположное — что результатом таких изменений станет фрагментация, а не унификация. Тем не менее стоит заметить, что рост неопределенности, с которой мы здесь имеем дело, сам по себе может быть основанием для большей уверенности в вероятном возникновении синглтона. Революция машинного интеллекта может, так сказать, смешать нам карты и перетасовать колоду так, что сделает реальной геополитическую перестройку, которая иначе вряд ли была бы возможной.

Детальный анализ всех факторов, способных повлиять на масштаб интеграции политических сил, увел бы нас далеко за пределы выбранной темы — один обзор соответствующей политологической и экономической литературы легко потянет на отдельную книгу. Нам придется ограничиться коротким взглядом на несколько аспектов появления цифровых агентов, которые упростят задачу централизации контроля.

Карл Шульман утверждает, что естественный отбор в популяции имитационных моделей мозга приведет к появлению «суперорганизмов», то есть сообществ эмуляторов, готовых пожертвовать собой ради блага их клана. Суперорганизмам не придется решать агентскую проблему, столь насущную в случае организаций, члены которых преследуют свои собственные интересы. Как клетки в наших организмах или отдельные особи в колониях общественных насекомых, эмуляторы будут абсолютно альтруистичными по отношению к своим братским копиям и смогут сотрудничать друг с другом даже в отсутствие специальных схем мотивации.

Суперорганизмы будут иметь особенно заметное преимущество, если в них есть возможность безвозвратного стирания (или приостановки выполнения) отдельных имитационных моделей без их согласия. Компании и государства, состоящие из эмуляторов, которые настаивают на самосохранении, окажутся под постоянно растущим гнетом обязательств по выплате содержания морально устаревшим или избыточным членам. В отличие от них те организации, где эмуляторы с готовностью уничтожают себя, когда потребность в их услугах исчезает, смогут легче адаптироваться к колебаниям спроса и экспериментировать, множа вариации своих работников и сохраняя из них лишь наиболее продуктивных.

Если возможность принудительного уничтожения отключена, то у эусоциальных эмуляторов будет меньше конкурентных преимуществ, хотя они и сохранятся. Работодатели готовых сотрудничать и принести себя в жертву имитационных моделей по-прежнему получат выигрыш в продуктивности в результате уменьшения остроты агентской проблемы в своей организации, включая отсутствие необходимости бороться с сопротивлением имитационных моделей, возражающих против своего уничтожения. В целом выигрыш в продуктивности за счет наличия работников, готовых пожертвовать своими жизнями ради общего блага, представляет собой особую выгоду организаций, члены которых фанатически им преданы. Такие члены не только готовы долгие часы трудиться за символическую зарплату и даже отправиться ради них в могилу — они никогда не станут плести интриги и постараются действовать исключительно в интересах организации, что уменьшает потребность в контроле и бюрократических ограничениях.

Если единственным способом добиться такой преданности является копирование одного «родителя» (когда все имитационные модели, или эмуляторы, принадлежащие конкретному суперорганизму, получены от единого шаблона), тогда недостатком такого суперорганизма будет более узкий набор навыков, чем у соперников, неясно лишь, перевесит ли этот недостаток преимущество в виде отсутствия внутренних агентских проблем. Впрочем, частично этот недостаток можно нивелировать, если суперорганизм будет состоять из членов, прошедших обучение по разным программам. Даже если все эмуляторы получены от единого шаблона, в процессе функционирования они смогут вырабатывать отличные друг от друга совокупности навыков. Один шаблон всесторонне развитого эмулятора может породить несколько типов работников, если одна копия проходит обучение на бухгалтера, другая — на инженера и так далее. В результате члены суперорганизма будут обладать различными навыками, но одинаковыми талантами. (Для большего разнообразия может потребоваться больше одного шаблона.)

Неотъемлемым свойством суперорганизма будет не то, что он состоит из копий одного «родителя», а то, что все индивидуальные агенты внутри него полностью посвятили себя общей цели. То есть способность создавать супер­организмы потребует лишь частичного решения проблемы контроля. Если исходить из того, что полное решение проблемы контроля предоставит возможность создать сверхразумного агента, способного добиться любой произвольной конечной цели, то частичное решение проблемы контроля, которого достаточно, чтобы сформировать суперорганизм, позволит лишь изготовить многочисленное количество агентов, наделенных одной и той же конечной целью (она может быть значимой, но не обязательно произвольной).

Таким образом, обсуждение основной идеи этого раздела не ограничивается вопросом о группах моноклональных эмуляторов, поэтому она может быть сформулирована в более общем виде и применима к широкому диапазону сценариев возникновения машинного интеллекта в многополярном мире. А именно: определенные достижения в развитии методов выбора мотивации, которые окажутся выполнимыми в случае, если действующие лица представлены в цифровом виде, могут помочь преодолеть некоторую неконструктивность, свойственную нашим сегодняшним крупным организациям, и обеспечить рост эффективности, обусловленный ростом масштаба производства. Когда эти ограничения будут преодолены, организации — будь то компании, страны или иные экономические и политические институты — могут значительно увеличиться в размерах. Это один из факторов, облегчающих формирование постпереходного синглтона.

Сфера, в которой суперорганизмы (и другие цифровые агенты с частично выбранной мотивацией) способны быстро достичь нужного превосходства, — это аппарат принуждения. Государство может использовать методы выбора мотивации для формирования одинаково преданных ему полиции, армии, разведывательных служб и гражданской администрации. Как пишет Шульман:

Сохраненные состояния [довольно лояльной имитационной модели, тщательно отобранной и проверенной] можно будет размножать миллиарды раз, чтобы получить идеологически монолитную армию, бюрократию и полицию. После короткого периода службы каждая имитационная копия будет заменяться свежей копией того же самого сохраненного состояния, чтобы не допустить ее идеологического смещения. В рамках одной юрисдикции это позволило бы осуществлять невероятно тщательное наблюдение и регулирование — в принципе, можно было бы иметь одну такую исходную копию для всех граждан. С подобным подходом под силу совершить многое: запретить производство оружия массового поражения; ограничить эксперименты с эмуляциями мозга и воспроизводство эмуляторов; принять либеральную демократическую конституцию — или навеки утвердить мерзость тоталитаризма.

Чего можно добиться, обладая таким потенциалом? В первую очередь — консолидации власти и даже концентрации ее в руках очень ограниченного числа действующих лиц.

Объединение на договорных началах

Большую пользу в постпереходном многополярном мире способно принести международное сотрудничество. Может быть, нам на самом деле удастся совершить многое. Избавиться от войн и гонки вооружений. Освоить астрофизические источники информации и начать использовать их в оптимальные для человечества сроки. Избежать спешки в деле усовершенствования ИИ и разработки его новых форм, то есть координировать исследования по этим вопросам, анализировать новые идеи и тщательно проверять все проекты. Отложить или остановить работу над теми проектами, в которых заложена потенциальная угроза существования нашей цивилизации. Ввести одинаковые нормы регулирования в глобальном масштабе, включая положения о гарантированных стандартах жизни (которые потребуют некоторых мер контроля над популяциями) и предотвращении эксплуатации и злоупотребления по отношению к имитационным моделям и другим цифровым и биологическим сущностям. Более того, агенты, имеющие ресурсы, вполне удовлетворяющие их ценностные потребности (подробнее об этом будет рассказано в главе тринадцатой), могли бы заключить договор о разделе будущих ресурсов, по которому им была бы гарантирована определенная доля, вместо того чтобы развертывать борьбу за единоличный контроль над ними, рискуя не получить ничего.

Однако потенциальная возможность получить большую пользу от сотрудничества вовсе не означает, что о нем удастся договориться. В современном обществе за счет лучшей координации усилий в общемировом масштабе можно было бы обрести многие блага — наряду с прочим это сокращение военных расходов, прекращение войн, наложение ограничений на чрезмерный вылов рыбы, снятие торговых барьеров, предотвращение загрязнения атмосферы. Тем не менее никто так и не пожинает эти созревшие плоды. Почему? Что мешает нам в полной мере воспользоваться возможностями сотрудничества ради абсолютного общего блага?

Одним из препятствий является сложность в согласовании договоренностей и обеспечении контроля за выполнением обязательств по всем договорам. Двое бывших противников, обладающих ядерным оружием, стали бы жить намного лучше, если оба смогли бы избавиться от атомных бомб. Однако, даже достигнув принципиального согласия по всем вопросам, вряд ли будет возможно полное разоружение из-за взаимных опасений, что другая сторона начнет мошенничать. Избавиться от вполне реальных страхов помогло бы создание соответствующих механизмов контроля за соблюдением соглашения. Например, можно учредить институт инспекторов, наблюдающих за уничтожением имеющихся запасов, контролирующих ядерные реакторы и другие объекты; кроме того, в целях гарантии, что никто из договорившихся сторон не возобновляет ядерную программу, они могли бы проводить технические исследования и собирать разведывательные данные. Конечно, их труд должен оплачиваться, но возможные издержки не ограничиваются суммами вознаграждений. Есть риск, что инспекторы станут шпионить и продавать коммерческие и военные секреты. Однако важнее всего, что каждая сторона будет подозревать другую в намерении тайно сохранить возможность производить ядерное оружие. В итоге очень многие потенциально выгодные сделки никогда не станут реальностью, поскольку соблюдение их условий проверить было бы чрезвычайно трудно.

Если станут доступны новые методы проверки, способные снизить затраты на контролирующие органы, можно будет ожидать расширения сотрудничества. Однако пока неясно, удастся ли снизить эти издержки и риски в постпереходную эпоху. Одновременно с новыми эффективными методами инспекции наверняка появятся и новейшие методы сокрытия обмана. В частности, все более активная деятельность, подлежащая регулированию, будет вестись в киберпространстве, где нет возможности непосредственного наблюдения. Например, цифровые исследователи, работающие над инновационными системами нанотехнологических вооружений или новейшим поколением ИИ, могут почти не оставлять следов в физическом мире. И виртуальные инспекторы не всегда смогут пробиться через все слои маскировки и шифрования, с помощью которых нарушитель договора будет скрывать свою незаконную деятельность.

Если удастся разработать надежные детекторы лжи, они станут чрезвычайно полезными инструментами контроля за соблюдением достигнутых соглашений. Протоколы инспекций могут включать положения о проведении интервью с ключевыми персонами, чтобы выяснить, действительно ли они намерены выполнять все условия договора и не знают ли о случаях его нарушения.

Лица, уполномоченные принимать решения по программе и желающие обмануть проверку с применением детекторов лжи, могут сделать это, вначале дав распоряжение подчиненным продолжать незаконную деятельность и скрывать ее от них самих, а затем проведя процедуру частичного стирания памяти о своем участии в этих махинациях. В результате развития нанотехнологий соответствующие методы точечного воздействия на биологическую память наверняка окажутся доступными. В случае машинного интеллекта сделать это будет еще проще.

Страны могут попытаться решить эту проблему, обязавшись участвовать в процессе непрерывного контроля с регулярными проверками ключевых лиц на детекторе лжи, с целью выяснить, не скрывают ли они злокозненных намерений нарушить какой-либо из заключенных или планируемых к заключению международных договоров. Такое обязательство может трактоваться как своего рода метадоговор, предполагающий проверку выполнения остальных договоров; но страны могут присоединяться к нему по собственной инициативе с целью представить себя в качестве заслуживающих доверия партнеров. Однако с этим обязательством об участии в проверках или метадоговором связана та же проблема возможного мошенничества по схеме «делегировал и забыл». В идеале метадоговор должен начать действовать до того, как у сторон появится возможность провести подготовку к нарушению договоренностей. Если у потенциального нарушителя будет время на то, чтобы посеять семена обмана, доверие обеспечить не удастся.

В некоторых случаях для заключения сделки бывает достаточно одной возможности обнаружить нарушение соглашения. Однако часто все-таки требуется создать механизм принуждения к выполнению условий или назначения наказания в случае их нарушения. Потребность в таком механизме может возникнуть в том случае, когда угрозы выхода из соглашения обманутой стороны недостаточно для предотвращения нарушения, например если нарушитель получит в результате такое преимущество, что ему можно будет не беспокоиться о реакции другой стороны.

При наличии высокоэффективных методов выбора мотивации эта проблема может быть решена за счет создания независимого агентства с достаточными полицейскими или военными полномочиями для принуждения к исполнению договора любой стороны или сторон, даже невзирая на их сопротивление. Для этого агентство должно пользоваться полным доверием. Но при наличии эффективных методов выбора мотивации требуемое доверие можно обеспечить за счет привлечения к совместному контролю за созданием этого агентства всех участников переговоров.

Наделение независимого агентства чрезмерной принудительной властью может привести к тем же самым проблемам, с которыми мы столкнулись при обсуждении однополярного исхода (когда синглтон возникает до или в начале революции машинного интеллекта). Чтобы можно было добиваться выполнения договоренностей, которые касаются жизненно важных интересов безопасности стран-противников, независимое агентство фактически должно представлять собой синглтон: стать общемировым сверхразумным Левиафаном. Разница заключается лишь в том, что мы рассматриваем постпереходную ситуацию, в которой агенты, создающие Левиафана, обладают большей компетентностью, чем сегодняшние люди. Будущие создатели Левиафана сами могут быть сверхразумными. Это значительно увеличивает их шансы, что им удастся решить проблему контроля и разработать такую структуру агентства, которая будет служить интересам всех сторон.

Есть ли еще какие-то препятствия у общемировой координации, помимо затрат, связанных с контрольным наблюдением и принуждением к исполнению соглашений? Возможно, главной проблемой остается то, что можно назвать издержки ведения переговоров. Даже когда есть возможность для компромисса, результаты которого выгодны всем участникам переговоров, иногда не удается нащупать основания продвигаться дальше, поскольку стороны не могут договориться о принципах разделения общей «добычи». Например, сделка не будет заключена, а потенциальная прибыль — получена, если двое могут подписать договор, по которому будут получать проценты от суммы в один доллар, но каждая сторона считает, что заслуживает шестьдесят центов чистой прибыли, и отказывается согласиться на меньшее. В целом из-за сделанного некоторыми участниками стратегического выбора характера ведения переговоров последние могут идти с трудом, затянуться надолго или вовсе сорваться.

В реальной жизни людям часто удается прийти к соглашению, несмотря на то что иногда приходится уступать стратегические позиции в процессе поиска компромисса (нередко ценой значительных затрат усилий и времени). Тем не менее вполне возможно, что в постпереходную эпоху проблема заключения стратегически важной сделки будет иметь несколько иную динамику. Искусственный интеллект, выступающий в роли посредника, будет последовательно придерживаться формальной и логической концепции, возможно, содержащей новые и неожиданные заключения, если сравнивать ее с позицией других участников переговоров. Кроме того, ИИ способен вступить в игру, недоступную для людей или очень трудную для них, в том числе он может первым занять жесткую позицию относительно проведения какой-то стратегии или выполнения каких-то действий. Хотя люди (и управляемые людьми институты) тоже время от времени способны на это — правда, обычно они не бывают столь конкретны в формулировках и вызывают к себе меньше доверия. Некоторые типы машинного интеллекта, заняв изначально жесткую позицию, будут непоколебимо стоять на своем.

Внедрение новейших методов проверки намерений участников договора способно серьезно изменить природу переговоров и принести большую пользу агенту, имеющему преимущество первого хода. Если его участие необходимо для получения какой-то потенциальной выгоды от сотрудничества и агент готов занять принципиально твердую позицию, то он будет в состоянии диктовать распределение этой выгоды, заявив, например, что не согласится на сделку, которая принесет ему, скажем, меньше 99 процентов прибыли. Другие агенты в итоге окажутся перед выбором: или не получить ничего (отказавшись от несправедливого предложения), или получить оставшийся один процент (согласившись на него). Если твердость намерений первого агента, занявшего непоколебимую жесткую позицию, можно проверить и подтвердить инструментальными методами, то его партнерам по переговорам действительно не остается никакого выхода, кроме как принять один из двух оставшихся вариантов.

Чтобы не допустить подобного манипулирования, любой агент может первым занять жесткую позицию, объявив о недопустимости шантажа и готовности отклонять все несправедливые предложения. Когда кто-то займет такую позицию (и сообщит о ней), другие агенты могут решить, что не в их интересах угрожать или самим заявлять о готовности согласиться на сделку лишь в том случае, если она будет только в их интересах, поскольку будут знать, что эти угрозы окажутся беспочвенными, а несправедливые предложения — отклоненными. Но это лишь еще раз подтверждает, что преимущество остается за тем, кто сделал первый ход. Агент, занявший твердую позицию и сделавший первый ход, может выбирать, ограничиться ли ему лишь предупреждением другим о недопустимости получения несправедливых преимуществ или самому попытаться захватить львиную долю будущей добычи.

В самом выигрышном положении, видимо, окажется агент, темперамент или ценностные установки которого позволят ему не реагировать на угрозы, не поддаваться ни на какие манипуляции и не соглашаться на сделки, по которым ему не будет гарантирована справедливая прибыль. Мы знаем, что и среди людей встречаются переговорщики, умеющие проявлять железную волю и непреклонность. Однако такая жесткость позиции может сыграть злую шутку, если выяснится, что и другие агенты-переговорщики нацелены на получение только справедливой доли и не готовы отступать. Тогда непреклонная решимость одной стороны столкнется с непоколебимостью другой стороны, в результате чего окажется, что невозможно достичь никакого соглашения (ситуация может дойти вплоть до объявления войны). Кроткий и безвольный мог бы выторговать пусть не справедливую прибыль, но хоть какой-то процент.

Пока неясно, какого рода устойчивость с точки зрения теории игр может быть приобретена в подобных переговорах в условиях постпереходной экономики. Агенты могут выбрать и более сложные стратегии, чем описанные нами. Остается лишь надеяться, что баланс будет достигнут, поскольку переговорщики все-таки выработают более или менее справедливую норму — этакую точку Шеллинга, служащую единственным ориентиром в обширном пространстве исходов; ориентиром, который благодаря общим ожиданиям станет основой для координации в ничем иным не определенной игре по объединению. Это равновесие может подпитываться какими-то нашими эволюционными установками и культурным программированием — общее стремление к справедливости, при условии, что нам удастся сохранить свои ценности и в постпереходную эпоху, определит ожидания и стратегию так, что установится привлекательное для всех устойчивое равновесие.

Во всяком случае, можно сделать вывод, что готовность занимать непоколебимо твердую позицию способна привести к непривычным для нас вариантам завершения переговоров. Даже если постпереходная эпоха начнется как многополярная, может получиться так, что почти сразу возникнет синглтон как результат заключенного соглашения, которое разрешит все важные проблемы глобальной координации. Благодаря новым технологиям, доступным усовершенствованным формам машинного интеллекта, могут резко снизиться некоторые транзакционные издержки, в том числе, возможно, затраты на контрольные проверки и принуждение к исполнению договоренностей. Однако издержки, связанные с поиском выгодных для обеих сторон условий и достижением компромисса, могут оставаться довольно высокими. Безусловно, разные стратегии торга оказывают влияние на природу переговоров, но при этом все равно неясны причины, по которым достижение такого соглашения могло бы откладываться слишком надолго, тем более если само соглашение заключается в том, чтобы быть достигнутым. Если все-таки к соглашению не удастся прийти, будет иметь место противостояние в той или иной форме; в результате победит либо одна сторона — и вокруг выигравшей коалиции образуется синглтон; либо конфликт превратится в вечный — тогда синглтон может никогда не сформироваться. В итоге мы получим результат несравнимо худший относительно того, который можно было бы планировать, стремясь к скоординированной и направленной на сотрудничество деятельности человечества и тех цифровых сущностей, которые начнут заселять наш мир.

***

Мы увидели, что многополярность, даже если она будет стабильной, не гарантирует, что выход из ситуации окажется благоприятным. Исходная проблема отношений «принципал–агент» останется нерешенной и будет погребена под горой новых проблем, связанных с неудачей постпереходных усилий по глобальной координации, что только ухудшит общую атмосферу. Поэтому предлагаю вернуться к вопросу, каким образом можно обеспечить безопасность человечества в случае прихода в мир единственного вырвавшегося вперед сверхразума.

Отправить

VICTOR

Книга достойна прочтения , т.к. позволяет оценить своё ( человеческое ) существование и предназначение в информационно-цифровом пространстве .