Орудия террора

Автономные системы вооружения станут орудиями террора. Можете себе представить, насколько это страшно, когда вас преследует рой автономных дронов? Они попадут в руки террористов и государств-изгоев, людей, которые не побрезгуют использовать их против мирного населения. Смертоносное автономное оружие станет идеальным средством для подавления воли гражданского населения. В отличие от людей, автономные системы вооружения могут не задумываясь творить зверства и совершать геноцид.

Есть люди, которые считают, что использовать роботов этичнее, чем людей. Это, на мой взгляд, один из самых интересных и спорных аргументов в защиту автономных систем вооружения. Однако такие люди не учитывают факт, что мы до сих пор не знаем, как создать автономные системы вооружения, которые соблюдали бы международное гуманитарное право. Законы требуют того, чтобы во время войны под угрозой могли быть только солдаты, а не мирные жители, требуют поступать соразмерно с угрозой, принимать и уважать сдавшихся в плен или тех, кто не может продолжать воевать из-за ранения. Мы все еще не знаем, как создать автономные системы вооружения, способные различать подобные вещи.

Я предполагаю, что к 2062 году мы научимся создавать этичных роботов. Наша жизнь будет окружена автономными устройствами, которые должны соблюдать этические нормы. Так что, вероятно, мы однажды изобретем смертоносное автономное оружие, которое может следовать международному гуманитарному праву. Однако мы не сможем предотвратит угрозу его взлома и использования в неэтичных целях. Если можно получить физический доступ к компьютеру, значит, его можно взломать. Есть множество плохих людей, которые в состоянии преодолеть защиту, возведенную вокруг такого оружия.

Забавно, что некоторые страны – включая Великобританию – выступают против запрета САО именно по той причине, что они нарушают международное гуманитарное право. Они утверждают, что для регулирования этого оружия не нужны новые законы. История показывает, что этот аргумент несостоятелен. Химическое оружие нарушает международное гуманитарное право, в частности Женевский протокол 1925 года. Однако в 1993 году вступила в силу Конвенция о запрещении химического оружия, и такое вооружение стали контролировать намного строже. Конвенция была подписана и ратифицирована Великобританией, страной, которая теперь утверждает, что международное гуманитарное право способно регулировать оружие вроде САО.

Конвенция о запрещении химического оружия укрепила международное право в плане запретов на использование любых химикатов в вооружении. Она положила начало Организации по запрещению химического оружия – межправительственному органу, который базируется в Гааге и отслеживает разработку, изготовление, хранение и использование химического оружия. Сегодня около девяноста процентов задекларированного мирового запаса химического оружия уничтожено. Запрет на оружие может положительно влиять на нашу безопасность.

Ошибающееся оружие

Кроме того, что такое оружие может стать орудием террора, оно еще может ошибаться. С технической точки зрения поле боя – последнее место, где мы хотели бы видеть роботов.

Тому, что роботы сначала появились, например, на заводах по производству автомобилей, есть хорошее объяснение. На заводе можно контролировать обстановку. Человек решает, куда кому или чему идти. Робота даже можно поместить в клетку, чтобы защитить тех, кто находится поблизости. Поле боя – совершенно другая среда, полная неопределенности и неоднозначности. Совсем не то место, где мы хотели бы видеть роботов, способных убивать.

В ноябре 2016 года расследование операций США против «Аль-Каиды» и «Талибана», проведенное журналом The Intercept, показало, что почти девять из каждых десяти людей, погибших после атаки дронов, не были целью атаки. Напомню, что это происходит при том, что человек все еще контролирует ситуацию и знает о ней больше, чем машина. Этот человек и принимает окончательное решение. Если бы вы попросили меня как специалиста в области технологий заменить человека, который управляет дроном, на компьютер, я был бы доволен, если бы он показал такой же результат. Боюсь, что компьютер ошибался бы почти каждый раз.

Вероятность ошибки усиливается еще и за счет большей скорости такого оружия. Даже если им управляет человек, машина может действовать слишком быстро для того, чтобы он успел вмешаться и предотвратить ошибку. Такие системы вооружений способны вести себя непредсказуемо. Как и на фондовой бирже, они могут попасть в неожиданные петли обратной связи. Однако, в отличие от фондовой биржи, результаты могут быть фатальными. Может случиться так, что мы окажемся посреди военных вспышек, которые не планировали.

Ошибки создают дополнительную проблему: «пробелы в привлечении к ответственности». Кто отвечает за ошибки автономных систем вооружения? Кто предстанет перед трибуналом? Кого будут преследовать за военные преступления в Гаагском суде? Пробел в привлечении к ответственности особенно велик тогда, когда оружие использует алгоритмы машинного обучения, чтобы научиться опознавать и выслеживать цели. В таком случае изготовитель не может запрограммировать поведение оружия. Оно учится само. И то, чему оно учится, зависит от входных данных.

Еще хуже то, что военные могут поддаться соблазну позволить системам вооружения обучаться на поле боя. Если этого не произойдет, неприятель быстро найдет способ ввести в ступор ограниченную программу. Для того чтобы это предотвратить, противники захотят, чтобы их автономные системы вооружения адаптировались к действиям врага так же, как человек. Однако если автономная система учится, решительный враг может найти способы заставить ее нейтрализовать угрозу. Даже может найти способы обратить систему против того, кто ею управляет. Кто тогда будет отвечать за ее ошибки?