Растущее давление

Двадцать три страны призвали ООН запретить смертоносное автономное оружие. Среди них Алжир, Аргентина, Австрия, Боливия, Бразилия, Чили, Коста-Рика, Куба, Эквадор, Египет, Гана, Гватемала, Ватикан, Ирак, Мексика, Никарагуа, Пакистан, Панама, Перу, Палестина, Уганда, Венесуэла и Зимбабве. Вдобавок Африканский союз призвал к упреждающему запрету. Недавно Китай призвал к запрету использования (но не разработки или развертывания) полностью автоматического оружия.

Нам все еще далеко до большинства голосов в ООН, а уж тем более до консенсуса. На данный момент страны, поддержавшие запрет, в основном из тех, что скорее других могут пострадать от этих ужасных орудий. Тем не менее растет согласие по поводу того, что за каждой атакой должен стоять «осмысленный человеческий контроль». Это потребует от технологии предсказуемости, от пользователя – владения важной информацией, способности вовремя вынести правильное суждение и принять нужное решение.

Другие страны начинают сталкиваться с давлением в этом вопросе. В ноябре 2017 года, прямо перед ГПЭ, учрежденной для решения данной проблемы и впервые собравшейся в ООН, премьер-министр Австралии получил письмо, призывающее правительство стать еще одним государством, которое поддержит упреждающий запрет. Письмо было подписано более чем сотней исследователей в области ИИ и робототехники из университетов по всей Австралии. Для полной ясности: я написал это письмо и организовал его подписание.

Премьер-министр Канады получил похожую петицию, подписанную более чем двумя сотнями канадских исследователей ИИ; его организовал мой коллега Иан Керр, который отвечает в организации Canada Research Chair за этику, право и технологии в Оттавском университете.

Австралийское письмо гласит, что САО, за которой нет осмысленного человеческого контроля, находится по ту сторону очевидной нравственной черты. Оно просит наше правительство поддержать призыв к запрету подобного оружия. «Таким образом, наше правительство может восстановить свои позиции морального лидерства на мировой арене, которые оно занимало и ранее в таких вопросах, как, например, нераспространение ядерного оружия», – говорится в письме. Канадский вариант содержит схожие настроения.

В связи с недавним избранием Австралии в Совет по правам человека ООН проблема смертоносного автономного оружия стоит для нее наиболее остро. Автономные системы вооружения – проблема, связанная с правами человека. Специальный докладчик для Совета по правам человека, профессор Кристоф Хейнс, был первым, кто поднял в ООН проблему автономных систем вооружения, когда в 2013 году заявил, что машины никогда не должны иметь власть над жизнью и смертью людей.

Сообщество исследователей ИИ и робототехники посылало ясные и четкие сигналы относительно САО на протяжении последних нескольких лет. Мы предупреждали о гонке вооружений, и теперь видим ее начало. Мы также предупреждали о серьезных технических, юридических и моральных рисках, связанных с наличием автономных систем вооружения на поле боя. Так же, как и с изменениями климата, в научном сообществе есть несогласные. Некоторые говорят, что нужен не запрет, а мораторий. Однако абсолютное большинство предупреждает об опасности и призывает к упреждающему запрету.

Альтернативные меры

Позиция Великобритании заключается в том, что автономные системы вооружения нарушают существующее международное гуманитарное право и что Британия не станет разрабатывать такое оружие, а новые договоры для решения этой проблемы не нужны. В первом утверждении есть определенная доля истины. Однако никаких гарантий исполнения второго утверждения у нас нет. В прошлом даже Великобритания тайно разрабатывала химическое и биологическое оружие. История же имеет свои возражения против третьего утверждения. Новые технологии каждый раз требовали усиления международного гуманитарного права на протяжении всего прошлого века.

Основная альтернатива запрету, которую предлагает Великобритания, – это так называемые проверки оружия по статье 36. Статья 36 Дополнительного протокола I 1977 года Женевской конвенции требует от государства оценивать новое оружие, новые средства и методы ведения войны, чтобы удостовериться, что они соответствуют международному гуманитарному праву. Великобритания проводит подобные проверки каждой новой системы вооружения.

По моему мнению, проверки по статье 36 – неудовлетворительная альтернатива по нескольким причинам. Во-первых, нет никаких общепринятых стандартов оценки. Как мы можем быть уверены, что Россия (не совсем случайный выбор страны) так же основательно подходит к этому вопросу, как и Великобритания? Во-вторых, не было ни одного примера того, как система вооружения провалила проверки по статье 36. Это вряд ли означает, что проверки успешно не дают технологиям просочиться на поле боя. В-третьих, только несколько стран на сегодняшний день проводят такие проверки – те страны, которые обязаны публиковать их результаты.

Как избежать такого будущего

В решении этой проблемы мы находимся на распутье. Мы можем выбрать бездействие и позволить оружейным компаниям разрабатывать и продавать смертоносное автономное оружие. Это грозит нам большими неприятностями. Или мы можем не молчать и призвать ООН к тому, чтобы принять меры.

Академическое сообщество сказало свое веское слово. То же самое сделала и промышленность. По моему опыту обсуждения этой проблемы, большинство людей также поддерживают запрет. Опрос Ipsos 2017 года в двадцати трех странах показал, что в большинстве из них люди склоняются к неприятию автономных систем вооружения.

Прежде чем принять меры против большей части оружия прошлого, мы сначала должны были испытать его действие. Нам пришлось сперва наблюдать ужасные последствия применения химического оружия в Первой мировой войне, прежде чем мы предприняли необходимые шаги и составили Женевский протокол 1925 года. Нам пришлось столкнуться с ужасами Хиросимы и Нагасаки, а также несколькими острыми ситуациями в течение холодной войны, прежде чем мы запретили ядерное оружие. Мы имеем только один пример упреждающего запрета – запрет ослепляющих лазеров.

Боюсь, нам снова предстоит увидеть кошмарный эффект от применения нового оружия – на сей раз смертоносных автономных систем, прежде чем мы осмелимся их запретить. Что бы ни случилось, к 2062 году делегирование машине решения о жизни и смерти человека должно быть морально неприемлемым. Тогда мы, может быть, избавим себя от ужасной участи.