Геополитическая стабильность

На стратегическом уровне САО также представляет угрозу стабильности современных напряженных отношений между, например, Северной и Южной Кореей. От роя маленьких, незаметных и автономных дронов сегодня сложно защититься. Угроза, которую они представляют, может спровоцировать одну из сторон на неожиданное нападение. Страх такой атаки, так же как и невозможность ее отражения, способны повысить вероятность применения большей силы, вплоть до ядерного оружия.

Таким образом, САО рискует нарушить нынешний баланс военной мощи. Государству будет необязательно иметь статус экономической сверхдержавы, чтобы содержать огромную и смертоносную армию. Этого получится достичь гораздо более скромными средствами. САО станет автоматами Калашникова будущего. В отличие от ядерного оружия, его легко производить и оно дешевое. Оно появится на черном рынке по всему миру.

Это не значит, что автономные системы вооружения нельзя будет запретить. Химическое оружие тоже не требует больших затрат, и его легко изготовить, однако мы его запретили. Нам не придется разрабатывать собственные автономные системы вооружения в качестве противовеса на случай, если кто-то нарушит запрет, как это произошло с ядерным оружием. У нас уже есть достаточно военных, экономических и дипломатических противовесов для тех, кто решит нарушить международные договоры о смертоносном автономном оружии.

Призыв к оружию

В июле 2015 года я, Макс Тегмарк и Стюарт Рассел были настолько обеспокоены развитием этой сферы, что попросили тысячу наших коллег, исследователей в области искусственного интеллекта и робототехники, подписать открытое письмо, призывающее ООН запретить автономные системы вооружения. Письмо было обнародовано в начале главной международной конференции, посвященной ИИ, Международной совместной конференции по искусственному интеллекту.

Тысяча подписей – это хорошее круглое число, которое к тому же представляет существенную долю сообщества исследователей ИИ. Для контекста: на конференции ожидалось примерно такое же количество докладчиков. К концу первого дня число подписей увеличилось в два раза и продолжило увеличиваться на протяжении всей той недели, которую длилась конференция.

Письмо стало объектом широкого внимания прессы отчасти по той причине, что в нем содержались такие известные имена, как Стивен Хокинг, Илон Маск или Ноам Хомский. Однако важнее, на мой взгляд, то, что под ним стояли подписи многих ведущих ученых в области ИИ и робототехники. Это сотрудники разных университетов по всему земному шару, а также коммерческих лабораторий, таких как DeepMind от Google, лаборатория исследований ИИ Facebook и Института Аллена по изучению ИИ. Все эти люди, вероятно, лучше всех понимают современные технологии и их ограниченность.

ООН обратила внимание на наше предупреждение. Письмо могло сдвинуть с места неофициальную дискуссию по этому вопросу. Чуть больше года спустя, в декабре 2016-го, на главной конференции по разоружению ООН решила продолжить это обсуждение в официальном порядке. САО теперь рассматривает группа правительственных экспертов (ГПЭ) – орган, учрежденный Генеральной ассамблеей ООН для решения этой проблемы.

Если совет сможет прийти к консенсусу, я надеюсь, что ГПЭ предложит запрет под эгидой Конвенции о конкретных видах обычного оружия. Полное ее название – Конвенция о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие. Дипломаты называют ее просто КНО (Конвенция о «негуманном» Оружии). КНО – открытый договор, который ранее использовался для запрета наземных мин, мин-ловушек, зажигательного оружия и ослепляющих лазеров.

Гонка вооружений

В открытом письме мы предупреждали, что может начаться гонка вооружений по созданию все более мощного автономного оружия. К сожалению, это уже произошло. Пентагон выделил 18 миллиардов долларов из своего текущего бюджета на разработку новых типов вооружений, в том числе автономных. Другие страны, включая Великобританию, Россию, Китай и Израиль, также запустили программы по разработке автономного оружия.

В каждой сфере военного дела (в воздухе, на земле, на воде или под водой) автономные системы вооружения разрабатываются армиями по всему миру. Можно даже сказать, что уже существует как минимум один рабочий вариант такого вооружения. Это робот-охранник SGR-A1 от Samsung, контролирующий демилитаризованную зону (ДМЗ) между Северной и Южной Кореей.

Нет никакой разумной причины, по которой можно было бы пробраться в ДМЗ. Это самая минированная территория на свете. Если вас не убьют мины, то дело закончит робот от Samsung. Он может автоматически распознавать, отслеживать и убивать любого, кто проникает на эту территорию, из своего автоматического пулемета. Он может стрелять без промаха с дистанции в несколько километров.

Есть и другие используемые виды оружия, которые можно считать автономными. Исключим из этого списка мины и другие простые технологии, которые не выбирают для себя цель. Однако оружие вроде противоракетной системы Phalanx, которая есть, например, на кораблях Королевского австралийского флота, действует автономно. Она защищает корабль от сверхзвуковых ракет радиолокационной пушкой. Человеку не хватит времени, чтобы среагировать на ракету, появившуюся на горизонте. Противоракетная система должна распознать, отследить и сбить ее автономно.

С такими защитными орудиями нам не о чем волноваться. Их функции строго ограничены. Они защищают воздушное пространство над судном во время сражения. Они сбивают только объекты, движущиеся со сверхзвуковой скоростью. Они действительно спасают жизни. Большинство людей, включая меня, несильно возражают против такого ограниченного использования автономных систем.

Автономный дрон, который может летать над полем боя днями, вызывает гораздо больше опасений. Масштаб операций, на которые он способен, несравнимо значительнее по времени и протяженности. Если под ним появится конвой, ему необходимо будет определить, что это – военная колонна, гуманитарная помощь или свадебная процессия. Сегодняшние машины не умеют адекватно принимать такие решения.

Так же, как и после изобретения ядерного оружия, мир оказался внутри нежелательного сценария. Мы не хотим, чтобы на земле существовали роботы-убийцы, но если они будут у врагов, нам тоже необходимо их иметь – так утверждают противники запрета. Так началась гонка вооружений по разработке оружия, которое никто не хочет иметь.

Вообще, нам не так уж и нужны автономные системы вооружения, чтобы защититься от тех, у кого они есть. США, например, пробуют более простые технологии, такие как сети и хищные птицы, чтобы обезопасить себя от автономных дронов.