С незапамятных времен человечество страдает от голода, болезней и войн. Мы уже коснулись темы, как искусственный интеллект может помочь решить проблемы голода и болезней, а что насчет войны? Некоторые утверждают, что наличие ядерного оружия удерживает владеющие им страны от войны, потому что ее последствия ужасающи. Так не позволить ли всем нациям создать еще более ужасающее оружие с использованием искусственного интеллекта в надежде, что после этого войны прекратятся навсегда? Если аргумент вас не убеждает и вы считаете, что будущие войны все равно неизбежны, то что вы скажете об использовании искусственного интеллекта для гуманизации этих войн? Если в боевых действиях будут принимать участие только машины, воюющие с машинами, то ни военные люди, ни гражданские не должны гибнуть. Более того: можно надеяться сделать будущие дроны, снабженные искусственным интеллектом, и другие автономные системы оружия (АСО; их противники дали им название “роботы-убийцы”) более справедливыми и рациональными, чем человеческие солдаты: оснащение их сенсорами, далеко превосходящими человеческие органы чувств, и отсутствие у них страха смерти сделает их спокойными, расчетливыми и уравновешенными даже в пылу сражения, делая почти невероятным убийство гражданских лиц.

Но что если автоматизированные системы глючат, сбоят и ведут себя не так, как ожидалось? Американская система Phalanx, устанавливаемая на крейсерах класса Aegis, автоматически обнаруживает, отслеживает и отражает приближающиеся цели противника, такие как противокорабельные ракеты и самолеты. USS Vincennes был ракетным крейсером, получившим прозвище “Робокрейсер” – с намеком на установленную на нем систему Aegis. 3 июля 1988 года, в разгар перестрелки с иранскими канонерскими лодками в ходе ирано-иракской войны, его радиолокационная система предупредила о приближении самолета. Капитан Уильям Роджерс-третий заключил, что их атакует иранский истребитель F‐14 и позволил системе Aegis открыть огонь. В тот момент он не понимал, что они сбивают пассажирский самолет иранской авиакомпании Iran Air, выполнявший свой обычный рейс под номером 655. Погибли все 290 человек, находившиеся на борту, из-за чего разразился грандиозный международный скандал. Расследование показало, что катастрофа произошла отчасти из-за того, что пользовательский интерфейс системы не давал достаточно полной информации, не показывая в автоматическом режиме, ни какие из точек на экране радаров соответствуют гражданским самолетам (рейс 655 проходил в его обычном ежедневном коридоре с включенным гражданским транспондером), ни какие из самолетов снижаются (как во время нападения), а какие, напротив, набирают высоту (как это было с рейсом 655, который как раз взлетал из аэропорта Тегерана). Вместо этого автоматизированная система сформировала запрос о траектории загадочного самолета и получила на него ответ “нисходящая”, но это был статус уже другого самолета, которому присвоен номер, используемый на военных кораблях для отслеживания самолетов военно-морского флота. Так что снижался в тот момент на самом деле патрульный самолет США, находившийся на боевом дежурстве далеко от места событий, над поверхностью Оманского залива.

Современные военные дроны (например, стоящий на вооружении ВВС США MQ‐1 Predator) дистанционно управляются человеком. В будущем у подобных дронов есть шанс освободиться от человека в цепи управления.

В этом случае окончательное решение принимал именно человек, включенный в цепь управления, но из-за нехватки времени он был вынужден чрезмерно доверять тому, о чем сообщала автоматизированная система. Пока что высшие должностные лица, ответственные за оборону своих стран, согласны в том, что во всех развернутых системах оружия человек включен в цепь; исключение делается лишь для простых ловушек вроде наземных мин. Но в настоящее время ведется разработка действительно автономного оружия, которое по-настоящему самостоятельно выбирает и атакует цели. В военном отношении перспектива изъять человека из цепей управления очень заманчива, это сразу даст преимущество в скорости: в схватке между полностью автономным дроном, способным реагировать моментально, и вяло реагирующим дроном, подчиняющимся командам человека, сидящего за пультом дистанционного управления на расстоянии в полмира, какой из двух, по-вашему, победит?

Однако бывало и так, что мир висел на волоске, и это большая удача, что в цепи оказался человек. 27 октября 1962 года, во время кризиса из-за размещенных на Кубе ракет, одиннадцать эсминцев ВМС США и авианосец USS Randolph выследили советскую подводную лодку Б‐59 недалеко от Кубы, в международных водах за пределами американской “карантинной” зоны. Они не знали, что температура на борту к тому времени выросла до 45 °C, потому что все аккумуляторные батареи сели и кондиционирование воздуха было прекращено. На грани отравления углекислым газом многие из членов экипажа были без сознания. Подлодка не могла связаться с Москвой уже много дней, и никто на ней не знал, не началась ли уже третья мировая война. Американцы начали сбрасывать небольшие глубинные бомбы, которые, как они потом объясняли Москве, оставались незамеченными советским экипажем, хотя предназначались исключительно для того, чтобы заставить подводную лодку подняться на поверхность. “Думали, все – финиш, – вспоминал один из членов экипажа В. П. Орлов. – Казалось, будто сидишь в железной бочке, по которой колотят кувалдой”. А еще американцы не знали, что Б‐59 была вооружена ядерной торпедой, которую им было разрешено использовать без согласования с Москвой. И капитан Савицкий действительно принял решение пустить эту торпеду. Валентин Григорьевич, торпедный офицер, воскликнул: “Мы сейчас по ним шарахнем! Сами погибнем, их потопим всех, но флот не опозорим!”. К счастью, решение о пуске должно приниматься тремя офицерами, и один из них, Василий Архипов, сказал нет. Очень немногие слышали об Архипове, хотя его решение, возможно, предотвратило третью мировую войну и должно рассматриваться как едва ли не наиболее ценный вклад в современную историю человечества. Почти полная неизвестность Архипова действует отрезвляюще, и не меньше отрезвляют размышления о том, что могло бы случиться, если бы Б‐59 была автономной, контролируемой искусственным интеллектом подводной лодкой без людей в цепи управления.

Два десятилетия спустя, 9 сентября 1983 года, напряженность в отношениях сверхдержав снова выросла: Советский Союз получил клеймо “империи зла” от президента США Рональда Рейгана после того, как неделей раньше был сбит пассажирский самолет Корейских авиалиний, сбившийся с курса в воздушном пространстве, и в результате погибло 269 человек, в том числе конгрессмен США. На этот раз по советской автоматизированной системе раннего оповещения прошла тревога: США выпустили пять ядерных ракет наземного базирования по Советскому Союзу, и у дежурного офицера Станислава Петрова оставались минуты, чтобы решить, не была ли тревога ложной. Спутник проверили – он работал в штатном режиме, и входящий протокол обязывал Петрова рапортовать о начале ядерного нападения. Но он этого не сделал, поверив внутреннему чувству, говорившему ему, что Соединенные Штаты вряд ли стали бы атаковать всего лишь пятью ракетами, и сообщил командованию, что тревога ложная, хотя никакой уверенности, что это действительно так, у него быть не могло. Позднее стало ясно, что спутник ошибочно принял солнечные блики от облаков за пламя ракетных двигателей. Хотел бы я знать, что случилось бы, будь на месте Петрова система искусственного интеллекта, которая должным образом отреагировала бы на должным образом поступивший протокол.

Как вы, несомненно, уже догадались, лично у меня создание автономных систем оружия вызывает серьезную озабоченность. Но я пока даже не начал рассказывать вам о главной причине моего беспокойства: конечной точке в гонке вооружений с применением искусственного интеллекта. В июле 2015 года я выразил это беспокойство в открытом письме, написанном вместе со Стюартом Расселом, с содержательными откликами от моих коллег по Институту будущего жизни:

В пользу автономного оружия и против него выдвигаются многочисленные аргументы. Например, замена людей на поле боя машинами хороша тем, что ведет к уменьшению числа человеческих жертв у собственника, но плоха тем, что снижает порог, за которым конфликт превращается в военный. Ключевой вопрос для человечества сегодня таков: начать ли глобальную гонку AI-вооружений, или предотвратить ее. Если каждая крупная военная держава подталкивает инженеров к разработкам AI-оружия, то глобальная гонка вооружений практически неизбежна, и конечная точка этой технологической траектории очевидна: автономное оружие станет автоматом Калашникова завтрашнего дня. В отличие от ядерного оружия, для его создания не требуется дорогостоящих или трудно получаемых материалов, поэтому оно превратится в широко распространенный, недорогой и доступный для всех значительных военных держав продукт массового производства. Его появление на черном рынке, а потом и в руках террористов, диктаторов, стремящихся к усилению контроля над населением, полевых командиров, мечтающих о новых этнических чистках, – не более чем вопрос времени. Автономное оружие идеально подходит для таких задач, как политические убийства, организация массовых волнений, подчинение населения и выборочное убийство представителей определенной этнической группы. Поэтому мы считаем, что военная гонка AI-вооружений не принесет добра человечеству. Есть много способов, как с помощью искусственного интеллекта сделать зоны военных конфликтов более безопасными для человека, особенно гражданских лиц, без создания на его основе новых орудий убийства.

Так же, как большинство химиков и биологов не проявляют никакого интереса к созданию химического или биологического оружия, большинство исследователей искусственного интеллекта не заинтересованы в создании AI-оружия и не хотят, чтобы другие порочили сферу их деятельности, производя его, провоцируя граждан на выступления против технологии искусственного интеллекта, что усложнит внедрение более благоприятных для общества способов его использования. Действительно, и биологи и химики всемерно поддержали международные соглашения, запрещающие химическое и биологическое оружие, так же как большинство физиков поддерживали договоры о запрещении ядерного оружия космического базирования и ослепляющего лазерного оружия.

Чтобы от нас было труднее отмахнуться, как от каких-то пацифистски настроенных защитников китов и деревьев, я хотел, чтобы поводы для тревоги, выраженные в нашем письме, поддержали как можно больше ключевых исследователей искусственного интеллекта и инженеров-робототехников. Международная кампания за контроль над использованием роботов в военных целях ранее предварительно собрала несколько сотен подписей от людей, призывающих запретить роботов-убийц, но я чувствовал, что наш результат мог оказаться еще лучше. Я знал, что профессиональные организации не захотят делиться списками адресов электронной почты своих многочисленных сотрудников в целях, которые могут быть истолкованы как политические, поэтому выуживал их имена и названия учреждений из онлайн-документов, а потом получившийся список загрузил в “механического турка” на Amazon, сопроводив его задачей найти адреса электронной почты для каждой записи. У большинства исследователей адрес электронной почты указан на персональной странице веб-сайта университета, так что двадцать четыре часа спустя я, потратив $54, был гордым обладателем списка адресов сотен исследователей искусственного интеллекта, достаточно успешных в своей области, чтобы быть избранными в Ассоциацию по продвижению искусственного интеллекта (AAAI). Одним из них был британо-австралийский профессор искусственного интеллекта Тоби Уолш, который любезно согласился переслать наше письмо по всем остальным адресам в нашем списке и стать знаменосцем в нашей кампании. Невидимые работники “механического турка” по всему миру неустанно составляют дополнительные списки рассылки для Тоби, и прошло немного времени, как уже 3000 исследователей искусственного интеллекта и робототехников подписали наше открытое письмо, в их число вошли шесть бывших президентов AAAI, а также лидеры AI-отрасли из Google, Facebook, Microsoft и Tesla. Армия добровольцев Института будущего жизни неустанно работала над проверкой подлинности подписей, то и дело удаляя фиктивные подписи Билла Клинтона и Сары Коннор. Под письмом поставили свои подписи более 17 000 человек, в том числе и Стивен Хокинг. А после того, как Тоби организовал пресс-конференцию обо всем этом на Объединенной международной конференции по искусственному интеллекту, публикация нашего письма стала одной из важнейших новостей для всего мира.

Из-за того что биологи и химики однажды заняли ясную позицию, их главным делом теперь считается создание полезных лекарств и новых материалов, а не разработка биологического и химического оружия. Сообщества ученых, чьи исследования относятся к разработке искусственного интеллекта и робототехнике, тоже говорили: подписавшие письмо хотят, чтобы предмет их исследований ассоциировался со стремлением к лучшему будущему, а не с созданием новых способов убивать людей. Будет ли искусственный интеллект в будущем использоваться преимущественно в гражданских или в военных целях? Хотя в этой главе больше страниц посвящено первым, может оказаться, что мы скоро потратим больше денег на последние, – особенно если военная гонка AI-оружия наберет обороты. Инвестиционные обязательства на исследование искусственного интеллекта в гражданских целях в 2016 году превысили миллиард долларов, но это ничто по сравнению с бюджетными запросами Пентагона на 2017 фискальный год, где на проекты, связанные с искусственным интеллектом, закладывается 12–15 миллиардов долларов. России и Китаю, вероятно, следует принять к сведению слова заместителя министра обороны США Роберта Уорка: “Я хочу, чтобы наших конкурентов заинтересовало, что скрывается за черным занавесом”.

Хотя в настоящее время явно наметилось общее движение к международным переговорам о поисках формы запрета роботов-убийц, до сих пор неясно, каким он будет и, несмотря на довольно оживленную дискуссию, каким он должен быть. Хотя основные участники согласны, что мировые державы должны выработать какой-то проект международных правил относительно ведения исследований в области автономных систем оружия и относительно его возможного применения, у них гораздо меньше согласия в том, что именно должно быть запрещено и каким образом этот запрет должен обеспечиваться. Например, только ли летальное автономное оружие следует запрещать, или такой запрет должен касаться и тех его видов, которые серьезно угрожают здоровью людей, – скажем, ослепляя их? Запрещать надо разработку, производство или владение? Запрет должен касаться всех видов автономных систем оружия или, как сказано в нашем письме, только наступательных, не распространяясь на оборонительные системы – автономные зенитные орудия и комплексы противоракетной обороны в числе прочего? В последнем случае следует ли автономную систему оружия (АСО) считать оборонительной, даже если она легко выдвигается на вражескую территорию? И как добиваться соблюдения договора, если большинство компонентов автономного оружия допускает двойное использование, включая гражданское? Например, нет большой разницы между дроном, доставляющим бандероли от Amazon, и дроном, доставляющим бомбы.

Некоторые участники дебатов утверждают, что разработка эффективного договора по АСО безнадежно сложна и поэтому не стоит даже и пытаться. Но ведь еще Джон Кеннеди подчеркивал, объявляя о начале подготовки полета на Луну, что есть смысл приниматься даже за безнадежные дела, если их успех может принести большую пользу человечеству в будущем. Более того, многие эксперты утверждают, что запрет на биологическое и химическое оружие был ценен, даже несмотря на то, что добиться его соблюдения оказалось трудно, случаи обмана часты, но принятие запрета вызвало крайнюю нетерпимость, ограничивающую применение этих видов оружия.

Я встретил Генри Киссинджера на официальном ужине в 2016 году, и у меня появилась возможность спросить у него о его роли в запрете биологического оружия. Он рассказал, как, будучи советником по национальной безопасности США, убедил президента Никсона, что запрет будет полезен для национальной безопасности страны. На меня произвели большое впечатление и острый ум, и безупречная память этого девяностодвухлетнего человека, и мне было интересно узнать, как это событие воспринималось изнутри власти. Поскольку Соединенные Штаты уже обладали статусом сверхдержавы благодаря состоянию своих обычных и ядерных вооружений, они скорее бы проигрывали, чем что-либо приобретали в результате всемирной гонки биологических вооружений, результат которых был непредсказуем. Одним словом, если ты и так уже хозяин положения, то имеет смысл следовать максиме “пока не болит живот, не давай его трогать”. После ужина к нашему разговору присоединился Стюарт Рассел, и мы обсуждали, как тот же аргумент можно использовать в отношении летального автономного оружия: больше всех выиграют от такой гонки вооружений не сверхдержавы, а мелкие государства-изгои или негосударственные субъекты типа террористов, которые получат доступ к такому оружию через черные рынки, после того как оно будет разработано.

Будучи запущены в серийное производство, небольшие дроны-убийцы, снабженные искусственным интеллектом, могут стоить немногим больше смартфона. Будь то террорист, жаждущий убить известного политика, или обманутый любовник, ищущий отмщения своей бывшей, – всё, что ему нужно сделать, это загрузить фотографию и адрес объекта преследования в память дрона: тот отправится к месту назначения, идентифицирует и уничтожит нужного человека, а после этого самоликвидируется, чтобы никто не узнал, кто стоит за случившимся. Другой вариант – для тех, кто планирует этническую чистку: дрон легко запрограммировать на убийство людей с определенным цветом кожи или другим характерным этническом признаком. По предположениям Стюарта, чем умнее будет такой вид оружия, тем меньше материала пойдет на его изготовление, тем меньшая ему понадобится огневая мощь и тем дешевле окажется каждое убийство. Например, это может быть – представим себе такую страшную картину – дрон размером со шмеля, с минимальным количеством пороха и стреляющий жертве в глаз, достаточно мягкий для проникновения даже небольшого снаряда, уходящего оттуда в мозг. Или дроны могут вцепляться в голову металлическими когтями, проникающими в череп и закладывающими туда крошечные кумулятивные заряды. Если миллион таких дронов-убийц разлетится из кузова единственного грузовика, мы получим ужасающий эффект оружия массового уничтожения совершенно нового типа, а именно: убивающего выборочно только людей определенной категории и оставляющего все остальное невредимым.

Общим контраргументом является то, что мы можем позаботиться об этических критериях роботов-убийц – например, позволив им убивать только солдат противника. Но если нас беспокоит применение этого запрета на практике, то какой вариант более вероятен: добиться от врага 100-процентного соблюдения требований этичности в использовании автономного оружия или добиться от него, чтобы такое оружие просто не производилось? Можно ли с уверенностью утверждать, что хорошо подготовленные солдаты цивилизованной армии так плохо соблюдают этические правила ведения войны, что роботы легко превзойдут их в этом, и что в то же самое время государства-изгои, диктаторы и террористические группы настолько привержены правилам ведения войны, что никогда не станут применять роботов в нарушение этих правил?

У военного применения искусственного интеллекта есть еще один аспект: он может позволить вам атаковать врага даже без создания какого-либо специального оружия, путем кибервойны. Некоторое представление о том, что нам может принести будущее, дает червь Stuxnet, созданный, по мнению многих, по поручению правительств США и Израиля: он инфицировал высокоскоростные центрифуги ядерной программы Ирана, в результате чего они разогнались до такой скорости, что разорвались. Чем более автоматизированным становится общество в целом и чем более мощным становится атакующий искусственный интеллект, тем более разрушительными последствиями может быть чревата кибервойна. Если вы можете взломать и обрушить системы управления беспилотных автомобилей вашего противника, его беспилотных самолетов, атомных реакторов, промышленных роботов, систем связи, платежных и энергосетей, то тем самым вы эффективно выведете из строя его экономику и разрушите его оборону. А если вы к тому же сможете взломать некоторые из его систем оружия, так это даже и еще лучше.

В начале этой главы был дан обзор возможностей, возникающих в связи с развитием искусственного интеллекта на благо человечества, – но это только при условии, что мы сумеем сделать его надежным и недоступным для взлома. И хотя искусственный интеллект может быть использован для того, чтобы сделать AI-системы еще более надежными, тем самым укрепляя оборону в случае кибервойны, точно так же его можно использовать и на стороне нападающих. Преобладание оборонительных задач в развитии искусственного интеллекта должно стать одним из наиболее важных требований в краткосрочной перспективе, иначе вся та могучая технология, которая нами создается, может обернуться против нас!