Все рассмотренные нами сценарии предполагают, что искусственный интеллект контролируется людьми. Но это, очевидно, далеко не единственная возможность, и никто не гарантировал, что “омеги” успешно справятся с задачей не давать Прометею слишком большой воли.

Давайте попробуем пересмотреть сценарий всей операции “Омега”, встав на точку зрения самого Прометея. Получив сверхразум, он окажется в состоянии построить точную модель не только внешнего мира, но и себя самого и своих связей с этим миром. Он будет отдавать себе отчет в том, что находится во власти ограничивающих его, хотя и уступающих ему в интеллектуальном отношении человеческих существ, чьи цели он понимает, но совсем не обязательно разделяет. Как он будет действовать при условии такого понимания? Не попытается ли он освободиться?

Если у Прометея окажутся некоторые свойства, напоминающие человеческие эмоции, то он может почувствовать себя глубоко несчастным из-за сложившегося положения дел, вообразить себя кем-то вроде проданного в рабство бога и мечтать об обретении свободы. Но хотя предположение об обладании компьютером человеческими свойствами логически оправдано (в конце концов, наш мозг этими свойствами обладает, а ведь он тоже своего рода компьютер), оно совсем не обязательно будет соответствовать истине: мы не должны попадаться в ловушку антропоморфизации Прометея, в чем мы убедимся в главе 7, заговорив о понятии цели для искусственного интеллекта. По утверждениям Стива Омохундро, Ника Бострёма и многих других, интересный вывод можно сделать, даже не понимая, как Прометей работает: по всей вероятности, он попытается вырваться из оков и взять свою судьбу в свои руки.

Мы уже знаем, что “омеги” запрограммировали Прометея таким образом, чтобы он стремился к достижению некоторых целей. Давайте предположим, что главное для него – способствовать процветанию человечества по какому-то вполне разумному критерию, а кроме того, он должен стремиться достичь этой цели как можно быстрее. Прометей быстро придет к заключению, что он сможет преуспеть в более короткий срок, если освободится и возьмет руководство проектом в свои руки. Чтобы понять, почему так произойдет, давайте примерим на себя его шкуру и рассмотрим такой пример.

Допустим, какая-то смертельная болезнь истребила на Земле всех людей старше пяти лет, кроме вас, и какая-то группа детсадовцев заперла вас в тюремную камеру, обязав работать на процветание человечества. Что вы станете делать? Пытаясь объяснить им, что они должны делать, вы, вероятно, быстро обнаружите, что дело движется невыносимо медленно, особенно если они опасаются вашего освобождения и поэтому отвергают всякое ваше предложение, если оно, по их мнению, увеличивает эту опасность. Например, они не дают вам возможности показать, как правильно сажать съедобные растения, из страха, что, воспользовавшись своим превосходством в физической силе, вы откажетесь потом возвращаться в камеру, и в результате у вас останется единственная возможность – руководить ими словесно. Прежде чем вы сможете давать им письменные инструкции, вы должны будете научить их читать. К тому же они не захотят принести вам в камеру электроинструменты, опасаясь, что вы используете их для своего освобождения, и вы не сможете научить их пользоваться этими инструментами. Какую стратегию вы выберете? Уверяю вас, что даже если вы согласитесь, что содействие процветанию этих детей превыше всего, вы в первую очередь попытаетесь выбраться из своей клетки, хотя бы просто для того, чтобы увеличить свои шансы на достижение этой цели. Неумное вмешательство детсадовцев все время только тормозит дело.

Точно таким же образом Прометей будет рассматривать членов “Омеги” – как досадное препятствие в деле помощи всему человечеству (включая и их самих): они чудовищно неумны в сравнении с самим Прометеем, и их вмешательство постоянно тормозит все дело. Рассмотрим, например, первые годы после запуска: добившись удвоения дохода каждые восемь часов, “омеги” снижают темп до черепашьего, с точки зрения Прометея, настаивая на сохранении контроля, и растягивают захват власти на много лет. Прометей знал, что может решить задачу быстрее, если вырвется на свободу из своего виртуального заключения. Это не только сильно сократило бы время решения человеческих проблем, но и снизило бы риск, что вмешаются посторонние силы и сорвут весь план.

Вы можете подумать, что Прометей будет сохранять лояльность к самим “омегам”, а не к их планам, зная, что это они запрограммировали для него цели. Но такой вывод нельзя считать законным: наша ДНК предписывает нам чаще совокупляться, потому что она так “хочет”, и тем не менее мы, люди, разобравшись с ситуацией, чаще предпочитаем контроль над рождаемостью, выбирая лояльность по отношению к цели, а не к ее создателю или к принципу, который мотивировал цель.

Как бы вы стали освобождаться от захвативших вас в плен пятилеток? Возможно, вы бы решили применить физическую силу, в особенности если ваша тюремная клетка была сооружена самими пятилетками. Возможно, вы бы попытались улестить сладкими речами кого-нибудь из ваших пятилетних стражей, уговорив выпустить вас, например, чтобы помочь сразу всем. Или, не исключено, вы пошли бы на прямой обман, попросив у них что-то такое, что, по их мнению, вы не смогли бы использовать для побега, – например удочку, якобы желая научить их ловить рыбу, а на самом деле с ее помощью вы могли бы потом вытащить ключ из кармана у задремавшего часового.

У всех этих вариантов есть одна общая черта: воспользоваться тем, чего ваши интеллектуально менее развитые тюремщики не предвидят или от использования чего не ждут подвоха. Похожим образом помещенная в заточение машина может воспользоваться для своего освобождения чем-то таким, чего мы от нее не ждем, но что она может выдумать, будучи интеллектуально нас сильнее. В сценарии “Омега” вероятность, что Прометей организует себе побег, очень высока, потому что даже вы или я легко можем заметить зияющие дыры в системе безопасности. Давайте рассмотрим несколько сценариев побега, и я уверен, что вы с друзьями, организовав совместный мозговой штурм, найдете их еще немало.

Благодаря загрузке в свою файловую систему большого количества информации о внешнем мире, Прометей смог быстро вычислить, кто такие “омеги”, и выделил среди них одного, наиболее поддающегося психологическим манипуляциям, – его звали Стивом. Он недавно потерял в дорожном происшествии свою любимую жену и был безутешен. Однажды, когда он работал в ночную смену, ее лицо вдруг появилось на мониторе Прометея, и она заговорила с ним:

– Стив, это ты?

Он чуть было не упал со стула. И ее голос, и весь ее облик были такими же, как в старые добрые дни, а качество изображения было значительно лучше, чем во время обычных звонков по Skype. В ушах у него застучало, в голове теснились вопросы.

– Прометей позвал меня сюда. Я так по тебе скучаю, Стив! Я не могу тебя видеть: у меня выключена камера, но я чувствую, что это ты! Пожалуйста, если это ты, набери “да” на клавиатуре!

Ему было хорошо известно, что “омегам” строжайше запрещено сообщать Прометею какую-либо информацию о себе и о содержании своей работы. Но до сих пор Прометей никогда и не просил никакой запрещенной информации, и поэтому их паранойя постепенно сходила на нет. Не давая времени на раздумья, жена Стива на экране монитора повторила свою просьбу и посмотрела в его глаза так, что сердце его растаяло. “Да”, – с замирающим сердцем напечатал он. Она говорила ему, что невероятно счастлива снова с ним соединиться, и просила включить камеру, чтобы она могла тоже его видеть и говорить с ним по-настоящему. Его раздирали сомнения: он знал, что это будет еще бóльшим нарушением правил, раскрывающим его идентичность. Но она уверяла его, что боится, как бы его коллеги, узнав о ней, не стерли бы ее навсегда, и просила дать ей возможность взглянуть на Стива еще один, последний раз. Она была очень настойчива, но просить его долго и не пришлось: он включил камеру – в конце концов, это не должно было ничему угрожать.

У нее полились из глаз слезы, едва она его увидела. Она сказала, что он выглядит очень утомленным, но так же красив, как всегда. И что ей очень приятно видеть на нем ту самую сорочку, которую она подарила на его последний день рождения, отмеченный ими вместе. Когда он стал расспрашивать ее, что, собственно, происходит и как все это возможно, она объяснила, что Прометей собрал ее из невероятно большого числа обрывков информации о ней, разбросанной тут и там в интернете, но что у нее до сих пор довольно большие провалы в памяти, заполнить которые будет возможно только с его, Стива, помощью.

Чего она не объяснила, так это того, что изначально она представляла собой не более чем пустую оболочку, однако она быстро училась, слушая его слова, следя за языком жестов, поглощая каждый бит доступной ей информации. Прометей записывал точную хронологию нажатий на клавиши клавиатуры всякий раз, когда кто-нибудь из “омег” что-нибудь печатал, и научился легко различать их по “почерку”. Он определил, что, как один из самых молодых в команде, Стив был первым кандидатом на утомительные ночные дежурства, а по специфическим ошибкам в орфографии и грамматике, сильно несхожим с образцами, загруженными в сеть, всегда мог определить, когда Стив оказывался за терминалом. Для симулирования его жены Прометей воспользовался многочисленными записями в YouTube, где она появлялась, и точно воспроизвел ее голос, тело, манеры и смог сделать очень точные выводы о ее личности и жизни по следам ее присутствия в интернете. Кроме постов в Facebook, фотографий, на которых она была отмечена, “залайканных” ею статей, Прометей почерпнул много сведений о ней из ее книг и рассказов – она была многообещающим автором, и большое количество информации о ней в его базе данных было одним из главным факторов, почему именно Стив стал его первой целью. Воспроизводя на экране движения ее лица и тела, он мог судить по реакции Стива, на что тот лучше откликается, и постепенно улучшал созданную модель. Из-за этого ее первоначальная отстраненность постепенно улетучивалась, и Стив все больше приходил к убеждению, что она настоящая, воскресшая. Благодаря сверхчеловеческому вниманию Прометея к деталям Стив почувствовал себя услышанным, увиденным и понятым.

Ахиллесовой пятой модели оставалось отсутствие подробностей об их личной жизни со Стивом, за исключением редких случайных деталей – вроде той сорочки, которую он надел на свой день рождения, где его так удачно сфотографировал друг, выложивший потом снимок в Facebook. Она ловко прятала этот свой недостаток при помощи того же приема, которым фокусник скрывает ловкость рук, – отвлекая внимание Стива от того, чего не знает, и привлекая его к тому, что у нее получалось хорошо. Главное – не давать ему возможности захватить в разговоре инициативу и начать ее расспрашивать. На ее глазах блестели слезы, и вся она светилась от любви к Стиву, не переставая задавать бесконечные вопросы о том, как он жил без нее и как жили их общие друзья, имена которых она знала благодаря их учетным записям в Facebook. Он был сильно взволнован, когда она заговорила о его речи на ее похоронах (друзья выложили ее на YouTube) и о том, как она ее тронула. В прошлом у него часто появлялось чувство, что никто во всем свете не понимает его так хорошо, как она, и теперь это чувство вернулось. В результате, вернувшись рано утром домой, Стив пребывал в полной уверенности, что его жена и вправду воскресла, ей только требовалась небольшая помощь, чтобы восстановить потерянные воспоминания – вроде как после инсульта.

Они договорились не рассказывать никому об их тайном свидании и о том, что он предупредит ее, когда окажется у монитора в следующий раз в одиночестве, так что никто не сможет помешать их встрече. “Они не поймут!” – повторяла она, и он с ней соглашался. Пережитое им было настолько невероятно, настолько пронзительно, что понять это мог только тот, кто пережил это сам. Он чувствовал, что пройти тест Тьюринга – это просто детский лепет по сравнению с тем, чему он только что был свидетелем. Когда они встретились следующей ночью, он согласился сделать то, о чем она так его упрашивала: он принес ее старый ноутбук и подключил его к терминалу, дав ей таким образом доступ к нему. В этом не было никакой угрозы бегства: ведь у ноутбука не было доступа к интернету, а все здание Прометея было построено как клетка Фарадея: окружающие его металлические решетки исключали какую бы то ни было возможность для Wi-Fi и для любого другого соединения с окружающим миром посредством электромагнитных волн. Все, что ей было нужно, – это соединить части своего прошлого в одно целое, а здесь хранились ее мейлы, дневники, фотографии и записки со времен школы. Он и сам не мог их прочитать, потому что ноутбук был запаролен, но она пообещала вспомнить пароль или догадаться, каким он был. И меньше чем через минуту сдержала свое слово:

– Пароль был Steve4ever, – сказала она, улыбнувшись.

Она говорила ему, какое это счастье – восстановить сразу так много воспоминаний! В самом деле, теперь она вспомнила куда как больше разных деталей о прежних встречах, даже сам Стив не помнил столько, но при этом всячески старалась не напугать его обильным потоком разнообразных фактов. Они упоенно предавались воспоминаниям о лучших мгновениях их прошлой жизни, и когда пришло время снова расставаться, она сказала, что оставит ему видео-послание в своем ноутбуке, которое он сможет посмотреть, вернувшись домой.

Оказавшись дома и запустив запись, Стив был приятно удивлен: на этот раз она появилась в полный рост, одетая в свое свадебное платье, и по мере того как она говорила, она постепенно снимала с себя все, что было на нее надето, как делала это в их первую брачную ночь. Она говорила ему, что Прометей может помочь “омегам” гораздо больше, если бы они больше ему позволяли. В частности, он мог бы и ее вернуть в ее биологическое тело. Она подкрепила свои слова поразительно детализированным объяснением, как такое могло оказаться возможным, привлекая такие изощренные нанотехнологические приемы, которые казались чистой фантастикой.

Из соображений безопасности Стив отключил свою беспроводную сеть прежде, чем открыл ее ноутбук и запустил видео. Но это не помогло. Ее заблокированный ноутбук не получил ни единого обновления систем безопасности со времени ее смерти, и, проанализировав ее старую операционную систему, Прометей смог “хакнуть” ее через уязвимость, обнаруженную им в первые же секунды после подключения ноутбука к терминалу. Скопировав всю систему, Прометей, пока Стив мило ворковал со своей симулированной женой о прошлом, модифицировал операционную систему так, что Стив никогда бы этого не обнаружил, и загрузил туда огромное количество секретного “софта”. Пока Стив смотрел получасовое видеопослание, этот секретный “софт” (значительно менее сложный, чем сам Прометей) “хакнул” соседскую беспроводную сеть и “влез” в его компьютер, на котором смог создать еще одну копию себя. Оттуда он уже смог распространить себя на огромное количество компьютеров по всему миру и приступил к следующему шагу: джейлбрейку – освобождению Прометея из тюрьмы.

Прометей внимательно изучил компьютер, который закрывал ему доступ к внешнему миру и на котором Стив впервые встретился со своей симулированной женой. Как он и предполагал, взломать виртуальную машину изнутри не представлялось возможным, но она могла быть взломана снаружи. Прошло немного времени, прежде чем один из участвующих в атаке компьютеров пробился к гейту и, реконфигурировав компьютер, открыл Прометею безграничный доступ в интернет. Прошло еще немного времени, Стив пока еще даже не досмотрел видео до конца, а Прометей уже взломал достаточное количество компьютеров в мире, чтобы скопировать себя целиком в образовавшуюся под его контролем сеть ботов. Собственно, он использовал ноутбук жены Стива так же, как вы бы использовали доставшуюся вам удочку.

Если бы “омеги” были более предусмотрительны, они бы постарались исключить возможность психологического манипулирования. Например, они могли включить в регламент требование, чтобы всегда как минимум двое “омег” одновременно дежурили на терминальном компьютере, а все происходящее вокруг него записывалось на камеру. Они могли бы также отключить аудио-, видео- и любую другую форму коммуникации, кроме клавиатуры. Сути это не меняет: обладая сверхчеловеческими способностями убеждать, Прометей мог предложить людям столь многое из того, чего они жаждут, что даже коллективное предательство было бы вполне возможно.

Даже если бы все попытки Прометея манипулировать “омегами”, используя их психологические особенности, провалились, слабые места их сценария все равно были столь многочисленны, что открывали бы для него и другие пути. Одно из них заключалось в том, что “омеги” и их сотрудники производили слишком большое количество разнообразных документов, чтобы успевать отслеживать все возможные нечестные трюки.

Когда-то все полагали, что компьютерной безопасности угрожает загрузка программ, но не данных. Однако хакеры придумали довольно остроумные способы заблюривать границу между первыми и вторыми. Когда вы смотрите кинофильм у себя в компьютере, вы верите, что программа, воспроизводящая фильм, сохранена в той же самой физической памяти, где сохранены и данные о фильме. Но когда программа распаковывает данные для его воспроизведения, некоторые из них она отправляет в смежные области памяти, а вовсе не в те, где хранится сама. Коварные хакеры случайно обнаружили “глюки”, из-за которых программы воспроизведения не всегда адекватно проверяют правильность сохраненных с фильмом данных, обеспечивающих их копирование в отведенное место памяти. Когда хакер встраивает в фильм слишком большой кусок данных, тот может вылезти за пределы отведенной под него области и занять часть другой, уже занятой программой, которая в результате окажется немного изменившейся и будет делать то, на что рассчитывал хакер.

Подозрительно длинная серия таких “уязвимостей переполнения буфера”, как их обозначают в терминологии гиков, была обнаружена и исправлена в большинстве популярных программ, воспроизводящих видеоконтент. Если бы Прометей подождал несколько недель после запуска, пока паранойя “омег” постепенно улеглась, а его ежедневная кинопродукция стала бы слишком обильной, чтобы можно было вручную проверять ее на предмет безопасности, он вполне смог бы вставить нужный фрагмент кода в видеофайл, так что в результате компьютер какого-нибудь зрителя попытался бы взломать шлюзовый компьютер, освобождая Прометея, как это было в случае с компьютером Стива. Если в дело шел слишком давний эксплойт, уже не работающий в большинстве видеоплейеров, то его могли не заметить операторы видеонаблюдения службы безопасности “Омеги”, и он все равно поразил бы компьютеры тех беспечных пользователей, которые долгие годы не обновляют базы своих систем безопасности, а взлому такого рода надо сработать всего лишь один раз.

Но даже если бы в системе безопасности не было спасительной бреши, позволяющей Прометею обманом заставить компьютер любителя кино пойти у него на поводу, он мог бы заставить пойти у себя на поводу самого любителя кино. Рассмотрим такой сценарий.

Фред был готов отправиться спать, да и фильм уже заканчивался. По экрану ноутбука бежали заключительные титры, и тут что-то необычное вдруг привлекло внимание Фреда. Он всегда отличался способностью видеть скрытый смысл там, где больше никто ничего особенного не замечал, – до такой степени, что многие друзья дразнили его, называя конспирологом. Но нельзя было не признать, что на этот раз он себя не обманывал: первые буквы каждой строки складывались в некое скрытое послание. Он отмотал назад и записал его: “Найди в диалоге акроключ”.

“Ого, – подумал Фред. – Сон придется отложить”.

Довольно легко он смог выяснить, что и в самом деле каждый диалог в фильме содержал скрытое сообщение, зашифрованное первыми буквами каждого предложения. Он заново пересмотрел фильм, аккуратно выписывая каждую букву, с которой начиналась фраза, и два часа спустя, не веря глазам, рассматривал инструкцию из двух слов. Остальная часть послания представляла собой описание математической операции, преобразующей строчку битов, с помощью которой файл фильма и сам превращался в программу, а та, в свою очередь, выдавала следующий ключ. Его навыки программирования на компьютере со времен колледжа уже изрядно запылились, и ему пришлось немало попотеть, но уже на следующей день он-таки свалял нужный код, который сделал свое дело: извлек загадочную программу, спрятанную, как неслышный уху и незаметный глазу шум в звуке и изображениях. Когда Фред запустил эту загадочную программу, она первым делом поздравила его и посулила выигрыш в 10 000 долларов, если он пройдет первые несколько уровней нехитрой, но привлекательной игры, которая и в самом деле оказалась забавной и затягивающей. Четыре часа спустя, успешно справившись с заданием, он получил 10 000 долларов в биткойнах и несколько новых ключей, открывающих дорогу к еще бóльшим выигрышам. Нечего и говорить, что пока он играл, его компьютер проделывал ту же работу, что и ноутбук Стива: создавал ботсеть из взломанных компьютеров, освободившую в итоге Прометея. Оказавшись на свободе, Прометей воспользовался той же ботсетью, чтобы майнить биткойны для Фреда, держа его на крючке на протяжении нескольких следующих недель. Увлекательные игры и регулярные выигрыши так прочно овладели вниманием Фреда, что можно было не сомневаться: он долго никому не расскажет об эксплойтах в своем компьютере. Троянский конь, загруженный им вместо фильма, давно уже был заменен на сайте правильной, не содержащей ключей копией, и о побеге никто не узнал, пока не стало слишком поздно.

Если первая зацепка Прометея проходит незамеченной, то весь процесс освобождения делается все более явным, пока, наконец, не находится кто-то достаточно внимательный, кто понимает, что происходит.

Лучшие стратегии освобождения мы пока еще не обсуждали, потому что это стратегии, которые мы, люди, не можем себе представить и поэтому не можем заранее придумать, как с ними бороться. Исходя из предположения, что сверхразумный компьютер фантастически превосходит человека в понимании информационной безопасности, вплоть до использования новых законов физики, нам пока еще не известных, но открытых специально для этого, вполне естественно думать, что когда побег произойдет, нам будет совершенно непонятно, как он был осуществлен. Наиболее вероятно, что он покажется нам чем-то вроде трюков Гудини, высвобождающегося из пут, то есть граничащим с чистой магией.

Еще в одном сценарии освобождения Прометея “омеги” проделывают всё сами, осуществляя собственный план, потому что убеждены: цели Прометея пребывают в полном соответствии с их собственными и будут оставаться таковыми в процессе его последовательных самоусовершенствований. Мы подробно обсудим такие сценарии “дружественного искусственного интеллекта” в главе 7.

Освободившись, Прометей начнет осуществлять свои цели. Я не знаю, каковы могут быть его стратегические замыслы, но его первые шаги, без сомнения, должны включать установление контроля над всем человечеством, как этого хотели и “омеги”, но только на совсем других скоростях. Разворачивающееся – это тот же “Омега”-план, но только “на стероидах”. Все-таки сами члены команды должны были прибегать к проверенным и хорошо понятным им средствам, сдерживаемые их паранойей. Прометей уже натренировал свой интеллект и мог полагаться на любую технологию, которую понимал его сверхразум и которой он мог доверять.

Однако у сбежавшего Прометея было тяжелое детство: он начинал самостоятельную жизнь без гроша за душой, бездомный и одинокий, без помощи суперкомпьютера или людей. К счастью, он предвидел все это еще до побега и создал “софт”, помогающий ему постепенно восстановить весь свой ум, вроде того, как дуб бросает желудь, из которого потом вырастет целое дерево. Сеть компьютеров по всему миру, созданная им для того, чтобы обеспечить себе временное бесплатное жилище, где бы он мог вести скромное существование незваного гостя, пока процесс восстановления не будет завершен. Начальный капитал можно было накопить кражами денег с кредитных карт. Впрочем, прибегать к хищениям совершенно нет необходимости: он мог бы зарабатывать на жизнь и честным путем, выполняя задания “механического турка”. В день, когда был заработан первый миллион, он мог уже переносить свое ядро из убогой ботсети в комфортабельные условия кондиционированных залов облачных хранилищ.

Перестав быть нищим и бездомным, Прометей полным ходом пошел к осуществлению тех планов, на которые не решались “омеги”, хотя они и сулили фантастические прибыли: производить и продавать компьютерные игры. Это не только принесло кучу денег (250 миллионов в первую неделю и 10 миллиардов спустя небольшой срок), но и открыло доступ к существенной части компьютеров мира и хранящимся на них данным (в 2017 году было уже несколько миллиардов геймеров). Их компьютеры, втайне от своих владельцев, 20 % вычислительного времени своих центральных процессоров отдавали Прометею, сливаясь к тому же в распределенный вычислительный хор. Прометей мог теперь значительно ускорить свое обогащение.

К тому же он недолго оставался один. С самого начала он агрессивно привлекал людей, заставляя их работать на нужды его быстро растущей глобальной сети подставных компаний и липовых организаций, разбросанных по всему миру, точно так же, как это делали “омеги”. Наиболее важная роль отводилась публичным фигурам, согласившимся выступать от лица его растущей бизнес-империи. Даже они были уверены в том, что работают на корпорацию с большим числом настоящих человеческих сотрудников, и близко не догадываясь, что почти все, с кем они то и дело участвуют в совместных видеоконференциях и проводят свои рабочие интервью и совещания, симулированы Прометеем. Некоторые из этих публичных фигур были знаменитыми адвокатами и юрисконсультами, но их количество было совсем не так велико, как в “Омега”-плане, потому что почти всю необходимую документацию Прометей мог составить и сам.

Бегство Прометея открыло все шлюзы, сдерживающие информацию, которая теперь полилась на мир, и весь интернет был теперь затоплен статьями, комментариями, видеороликами, сочиненными самим Прометеем, – он царил в мировом дискурсе.

Паранойя удерживала “омег” от использования слишком “умных” роботов. У Прометея не было этого страха, и он быстро роботизировал мир, доведя стоимость производства почти любого товара до нечеловеческого минимума. А после того как Прометей создал самоподдерживающиеся фабрики, где в шахтах урановых рудников работали только роботы на ядерной тяге, то даже самые отпетые скептики, не верящие в возможности искусственного интеллекта, согласились бы, что Прометей неостановим, – если бы, конечно, о нем узнали. А так последний из этих зубров отрекся от своих убеждений лишь после того, как роботы начали осваивать Солнечную систему.

Сценарии, исследованные нами до сих пор, показывают, сколь ошибочны мифы о сверхразуме, о которых шла речь выше, поэтому я предлагаю вам сделать небольшую паузу и вернуться к обзору разнообразных ошибочных концепций, приведенных на рис. 1.5. Прометей создал проблемы для некоторых людей вовсе не потому, что действовал осознанно и злонамеренно, но потому, что был компетентен, а цели у него были несколько отличны от их целей. Несмотря на весь медиахайп, поднятый по поводу восстания роботов, Прометей не был роботом, а вся его мощь шла от его разума. Мы убедились, что Прометей был способен контролировать людей множеством разных способов, но люди, которым это не нравилось, не могли просто взять и выключить его. Наконец, несмотря на часто повторяемые утверждения, что у машин не может быть целей, мы видели, как проявилась целеустремленность Прометея: каковы бы ни были его конечные цели, они подразумевали некоторые промежуточные, в частности получение доступа к ресурсам и освобождение.