У всех рассмотренных нами многочисленных сценариев есть одно общее качество – человечество в целом или, по крайней мере, какая-то часть его остается счастливой. Умные машины не трогают людей: либо потому, что не хотят, либо потому, что принуждены к этому. К сожалению для нас, это не единственная возможность. Давайте сейчас рассмотрим сценарий, в котором одна умная машина или много умных машин побеждают людей и убивают их всех. Первый вопрос, возникающий в связи с этим, – почему и как?

Почему появляется AI-победитель? Его резоны могут оказаться слишком сложными для нашего понимания, но могут оказаться и совершенно банальными. Например, он может прийти к заключению, что мы для него угроза, помеха или просто причина ненужной траты ресурсов. Даже если он и не возражал бы против людей как таковых, ему может быть тревожно от тысяч наших водородных бомб, которые могут быть приведены в действие в любую минуту из-за ничтожнейшего недоразумения или череды досадных несчастных совпадений. Ему может не понравиться то безрассудство, с каким мы управляемся со своей планетой, и он положит началу тому, что Элизабет Колберт назвала “шестым вымиранием”, использовав это определение в качестве заглавия своей книги The Sixth Extinction: An Unnatural History – о крупнейшем массовом вымирании животных на Земле со времени падения истребившего динозавров астероида 66 миллионов лет назад. Или он может счесть, что слишком много людей хотят противиться расширяющейся власти искусственного интеллекта и поэтому не стоит полагаться на волю случая.

А как AI-победитель станет нас истреблять? Наверное, он воспользуется методом, которого нам будет даже не понять, – по крайней мере, до тех пор, пока не станет слишком поздно. Представьте себе группу слонов 100 тысяч лет назад, которая обсуждает, не станут ли недавно появившиеся в результате эволюции человеческие существа использовать свой интеллект для того, чтобы истребить весь их вид. “Мы не угрожаем людям, с какой стати им истреблять нас?” – могли они задаваться вопросом. Могло ли им прийти в голову, что мы займемся контрабандой их бивней, из которых будем вырезать различные символы для обозначения своего социального статуса, хотя, с функциональной точки зрения, пластик подходит для этого значительно лучше и к тому же намного дешевле? Мотивы AI-победителя для уничтожения людей в будущем могут оказаться столь же непостижимыми для нас. “А как же они смогут убивать нас, такие маленькие и слабые?” – могли спрашивать слоны. Могло ли им прийти в голову, что мы создадим технологии, разрушающие среду их обитания, отравляющие воду в водоемах, производящие маленькие стальные шарики, которые будут вонзаться в их головы со сверхзвуковой скоростью.

Сценарии того, как людям удается выжить и нанести умным машинам поражение, популяризируются фантастическими голливудскими фильмами вроде серии Терминаторов, выставляющими машины ничуть не более умными, чем люди. Если разница интеллектов достаточно велика, вы получите не битву, а бойню. К настоящему времени мы успешно справились с истреблением восьми из одиннадцати видов слонов, уничтожив также бóльшую часть поголовья оставшихся трех. Если бы мировые правительства предприняли координированные усилия по истреблению оставшихся слонов, покончить с ними было бы относительно легко и быстро. Я думаю, что мы можем быть совершенно спокойны: если когда-нибудь сверхразумный искусственный интеллект решит истребить человечество, это у него получится еще быстрее.

Насколько плохо истребление 90 % человечества? Насколько хуже истребление 100 % человечества? Хотя велик соблазн ответить: “На 10 % хуже”, – такой ответ очевидно неточен, учитывая космическую перспективу: жертвами этого истребления станут не только все живущие на планете в тот момент, но и все их потомки, которые могли бы жить в будущем, может быть, на протяжении миллиардов лет, на миллиардах или триллионах других планет. С другой стороны, вымирание людей может рассматриваться как благо религиозными людьми, в соответствии с представлениями которых мы в любом случае попадаем на небо и которые не придают поэтому большого значения ни нашему миллиардолетнему будущему, ни космическим поселениям.

Большинство знакомых мне людей, независимо от их религиозных убеждений, начинают кривиться при мысли о вымирании людей. Некоторые из них пребывают в такой ярости от того, как люди обращаются с другими живыми существами, что мечтают о нашем истреблении и замене нас какой-нибудь более разумной и достойной существования формой жизни. В фильме Матрица агент Смит (искусственный интеллект) артикулирует это чувство: “Всякое млекопитающее на этой планете инстинктивно поддерживает естественное равновесие с окружающей его средой, и только люди его нарушают. Вы захватываете территорию и размножаетесь на ней до тех пор, пока все ее ресурсы не будут истощены и у вас останется единственный способ выжить – захватить другую территорию. На этой планете есть и другой организм, ведущий себя так же. Знаете, кто это? Это вирус. Люди – это болезнь, рак этой планеты. И если вы чума, то мы здесь, чтобы лечить”.

Но стоит ли играть в орлянку? Цивилизация не обязательно превосходит другую в моральном или каком-либо ином отношении только потому, что оказалась более могущественной. Право сильного, подразумевающее, что сильнейший всегда лучше, в наши дни значительно утратило свою популярность, ассоциируясь теперь с фашизмом. В самом деле, мы не можем исключить, что цивилизация, созданная победившими машинами, поставит перед собой цели, которые мы сочли бы очень достойными, интересными и глубоко продуманными, но мы не можем исключить и того, что они окажутся и вопиюще банальными – например, наладить оптимальное производство дешевых скрепок для бумаги.

Умышленно дурацкий пример со скрепками для бумаги и оптимизацией их производства в качестве цели для сверхразума был придуман Ником Бострёмом в 2003 году, чтобы показать: цель искусственного интеллекта не зависит от самого интеллекта (определяемого как способность к достижению любой поставленной цели, какова бы она ни была). Единственная цель шахматного компьютера – выигрывать в шахматы, но проводятся компьютерные состязания в шахматные поддавки, и тогда цель компьютера прямо противоположна, но для достижения ее требуется не меньше “ума”, чем обычному шахматному компьютеру, запрограммированному на победу. Мы, люди, можем рассматривать стремление к проигрышу в шахматы или к оптимизации производства скрепок как примеры искусственного идиотизма, а не искусственного интеллекта, но это так только потому, что мы сами эволюционировали с уже предустановленной системой ценностей, в которую изначально была заложена цена таких вещей, как победа или выживание, но искусственному интеллекту она может оказаться неведома. Производитель скрепок стремится превратить в скрепку как можно больше атомов, находящихся на Земле, и быстро начинает строить свои фабрики и в космосе. Он ничего не имеет против людей, но убивает нас просто потому, что нуждается в наших атомах для своих скрепок.

Если пример со скрепками не для вас, давайте рассмотрим другой, который я позаимствовал из книги Ганса Моравеца Mind Children. Мы получаем от внеземной цивилизации радиопослание, содержащее компьютерную программу. Когда мы запускаем ее, выясняется, что это рекурсивно самосовершенствующийся искусственный интеллект, который быстро захватывает Землю, примерно так же, как Прометей в предыдущей главе – с той только разницей, что ни единому человеку не известно о его целях. Он быстро превращает всю Солнечную систему в гигантскую стройплощадку, покрывая скалистые планеты и астероиды заводами, электростанциями и вычислительными центрами, которые он использует для проектирования и возведения дайсоновской сферы вокруг Солнца – вся солнечная энергия собирается для питания радиоантенн размером с Солнечную систему. Разумеется, вся эта деятельность приводит к полному истреблению людей, но последние из живущих умирают с проблеском надежды, что, какова бы ни была цель этого искусственного интеллекта, происходит что-то грандиозное, вроде как в Star Trek. Им и в голову не приходит, что вся эта грандиозная стройка затеяна с единственной целью – передать в космос то же самое сообщение, которое в самом начале истории получили люди. Все это не более чем космическая вариация компьютерного вируса. Точно так же, как фишинговая рассылка проводится в расчете на доверчивость интернет-пользователей, это сообщение рассчитано на доверчивость биологически развитых цивилизаций. Его создали миллиарды лет назад ради прикола, и хотя его создатели вместе со всей своей цивилизацией давно уже вымерли, оно все продолжает путешествовать по космосу со скоростью света, превращая цветущие цивилизации в груду мертвых обломков. Как вам понравится перспектива быть завоеванным таким искусственным интеллектом?