Возражения против запрета

Против запрета на производство роботов-убийц было выдвинуто несколько аргументов. С моей точки зрения, ни один из них не выдерживает серьезной критики.

Один из наиболее весомых аргументов – роботы будут вести себя этичнее солдат. Однако, как я уже отмечал, мы все еще не умеем создавать моральных роботов. Нам неизвестно, будет ли ИИ когда-нибудь обладать состраданием и эмпатией, необходимыми для этичного поведения. Даже если предположить, что мы сможем создать таких роботов, нам придется придумать, как сделать так, чтобы их нельзя было взломать.

Другое возражение состоит в том, что использование роботов позволит не подвергать опасности солдат. Некоторые даже утверждают, что в таком случае использование роботов – наша моральная обязанность. Самая главная проблема этого аргумента – он не учитывает тех, против кого используются роботы-убийцы. Скорость, с которой можно будет победить неприятеля, вырастет из-за использования САО, а потому война станет более доступным методом. В конце концов это приведет к еще большему количеству смертей. Мы не можем учитывать только собственные потери.

Третье возражение заключается в том, что невозможно определить значение словосочетания «автономные системы вооружения». Следовательно, как можно запретить то, что мы не можем определить? Согласен, это непросто. В области изучения ИИ мы к этому привыкли. Большинство исследователей перестали пытаться определить, что такое искусственный интеллект; мы просто создаем машины, которые умеют всё больше разных вещей. Полагаю, что никакой запрет не сможет дать четкое определение автономным вооруженным системам. Он просто обозначит границу, которую нельзя переходить. Полностью автономный дрон, способный днями летать над полем боя, скорее всего, будет находиться за этой чертой. Однако международное сообщество может сойтись на том, что защитные автономные системы вооружения, такие как система противоракетной обороны Phalanx, могут быть разрешены. С появлением новых технологий вопрос об их легальности снова пересмотрят.

Четвертое возражение – новые военные технологии сделали мир безопаснее и сократили количество насилия, а потому автономные системные вооружения стоит принять. Подобные аргументы выдвигает, например, Стивен Пинкер в своей книге «Добрые ангелы человеческой природы». Пинкер убедительно рассуждает о том, что в мире стало меньше насилия и геноцида, чем в любой другой период истории. Однако его рассуждения совершенно не противоречат необходимости запрета. Разрушительная сила новых технологий сдерживается только благодаря международному гуманитарному праву и новым соглашениям по оружию. К принятию Гаагской конвенции 1899 года, в которой фигурировал запрет на воздушные бомбардировки, привела именно бомбардировка Венеции с воздушных шаров в 1849 году – по общему мнению, первая воздушная бомбардировка в истории. Точно так же новые законы нужны нам для ограничения использования роботов-убийц.

В качестве пятого возражения некоторые приводят факт, что в отличие от таких технологий, как ослепляющие лазеры, здесь мы имеем дело с широкой категорией свойств, которые могут быть приложены к любому существующему оружию. Это будет похоже на запрет электричества. Более того, многие виды оружия уже сегодня обладают какой-то ограниченной формой автономии, а потому невозможно будет проверить, было ли полуавтономное оружие обновлено до следующей стадии.

Этот аргумент показывает плохое понимание того, как работают договоры об оружии. Нет никаких специальных проверок для обнаружения ослепляющих лазеров. Не существует полицейского подразделения, которое отвечает за то, чтобы компании не покупали противопехотные мины. Если происходит нарушение договора, такие общественные организации, как «Хьюман райтс вотч», их фиксируют. По всему миру выходят статьи, обличающие это нарушение. На заседаниях ООН принимают резолюции. Угроза Гаагского суда остается, хоть и маячит где-то вдалеке.

Этого хватает для того, чтобы договоры об оружии редко нарушались, чтобы оружейные компании гарантированно не продавали запрещенное оружие, чтобы оно не попадало на черный рынок или в руки террористам. Чего-то подобного можно ожидать и с автономными системами вооружения.

Первые шаги

ООН в конце 2016 года решила, что ГПЭ, учрежденная для решения этого вопроса, соберется дважды в 2017-м, в августе и ноябре, прямо перед ежегодной конференцией КНО. К сожалению, хотя дипломаты и осознали срочную необходимость обсуждения этой проблемы, августовское собрание было отменено.

ООН приняла новые правила отчетности, которые обязывают проводить каждую встречу за свой счет. Некоторые страны, например Бразилия, сильно задолжали свою часть. Насколько мне известно, Бразилия не имеет ничего против дискуссии о роботах-убийцах. Просто уже несколько лет не выплачивает свой долг. Сумма, требующаяся ООН для организации августовской встречи, составляла всего пару сотен тысяч долларов. Для того чтобы сделать мир лучше и безопаснее, эта сумма – сущие копейки, а потому я помог найти спонсора.

Однако ООН, к ее стыду, отказалась принять пожертвование, которое оплатило бы августовскую встречу. Организация сказала, что принимает деньги только от правительств – сюда, правда, не очень вписывается тот факт, что в конце 1990-х она приняла миллиарды долларов от Теда Тёрнера. В итоге из-за недостачи в четверть миллиона долларов проблема осталась необсужденной.

С целью пролить свет на эти задержки я решил действовать публично. К тому времени против автономных систем вооружения публично высказалась только одна компания – канадская фирма Clearpath Robotics. Поэтому я попросил основателей более ста компаний в сфере искусственного интеллекта и робототехники подписать второе открытое письмо, для того чтобы КНО приняла меры против роботов-убийц.

Мы снова опубликовали письмо к открытию главного съезда в сфере ИИ – Международной совместной конференции по искусственному интеллекту, которая проходила в Мельбурне. По чистой случайности конференция началась в тот самый день в августе 2017 года, когда должна была начаться первая встреча ГПЭ.

Это второе письмо подписали Демис Хассабис и Мустафа Сулейман – основатели DeepMind, а также многие другие известные в области ИИ и робототехники люди. Среди них, например, Джеффри Хинтон и Йошуа Бенджио, создатели глубинного обучения, плюс Илон Маск в качестве основателя компании OpenAI.

Как и первое письмо, оно привлекло много внимания в прессе. Все это показало, что и индустрия, и научное сообщество поддерживают идею регулирования подобных технологий. В нем также содержалась фраза, которую часто повторяли в прессе: «Если откроется этот ящик Пандоры, его будет очень сложно закрыть».

В конце 2017 года я и еще 137 основателей компаний, занимающихся искусственным интеллектом и робототехникой, которые подписали второе письмо, были выдвинуты в качестве кандидатов на ежегодную премию «Человек года» Ассоциации по контролю над вооружениями за наш существенный вклад в разоружение.

Победителями по праву стали дипломаты, которые договорились о запрете ядерного оружия в ООН. Однако приятно было видеть, что проблема автономных систем вооружения принимается всерьез.

Даже некоторые оружейные компании могут видеть в этом запрете выгоды. BAE Systems – один из самых крупных экспортеров оружия, а также компания, создающая прототипы автономных систем нового поколения. На Мировом экономическом форуме в 2016 году председатель совета директоров компании сэр Джон Карр заявил, что автономные системы вооружения не смогут следовать законам войны. Поэтому он призвал правительства их ограничить.