Роботы-убийцы

Одним из самых горячих споров в области развития искусственного интеллекта является создание так называемых роботов-убийц. Сторонники автономного оружия утверждают, что войны, которые машины будут вести вместо людей, окажутся более гуманными. Нарушения прав человека от действий солдат во время конфликтов – слишком распространенная практика. Но окажутся ли машины лучше? Пока одни считают саму идею возмутительной, другие верят, что машины не только могут, но и должны проявить себя лучше людей. «В наше время люди нещадно уничтожают друг друга на поле боя, – рассказывает Рональд Аркин, эксперт по робототехнике из Технологического института Джорджии в Атланте. – Я не могу сидеть сложа руки и ничего не делать. И верю, что технологии смогут помочь».

Развитие автономных систем летального вооружения, то есть роботов-убийц, сейчас в самом разгаре. И многие армии по всему миру ищут способы уберечь своих солдат от попадания на линию огня. Если отправлять туда роботов вместо людей, то это спасет множество человеческих жизней, особенно в государствах, обладающих передовыми технологиями. И в отличие от людей, роботы не станут нарушать правила.

Этот вопрос уже активно поднимается на международной арене. За последние несколько лет Организация Объединенных Наций не раз обсуждала так называемые автономные системы летального вооружения. А появление ярой оппозиции в лице таких групп, как кампания против роботов-убийц, указывает на все большую актуальность данных дискуссий. Девять стран НАТО призвали запретить автономные системы летального вооружения, а многие другие заявили о том, что люди должны сохранять максимальный контроль над роботами.

Роботы уже играют несколько ролей на поле сражения. Одни перевозят оборудование, другие разбирают бомбы, а третьи отвечают за наблюдение. Дроны с дистанционным управлением помогают операторам направлять удары по объектам, удаленным на тысячи километров. А новейшие машины выводят дроны на новый уровень. Они способны выбирать и поражать цели с минимальным вмешательством человека или вообще без него. Поэтому зачастую разрешение открыть огонь – все, что остается под контролем человека.

Противоракетная система ВМС США Phalanx на борту кораблей Aegis может сама производить «определение степени поражения», взвешивая шансы на успешное поражение цели. Британская фирма BAE разрабатывает безэкипажный самолет под названием Taranis. С незначительным вмешательством людей (если оно вообще требуется) он может взлетать, следовать заданному маршруту и идентифицировать объекты, представляющие интерес. Это прототип, который не перевозит оружия, но он наглядно демонстрирует техническую осуществимость таких летательных средств.

Между тем стало известно, что российский «мобильный робототехнический комплекс» (безэкипажный танковый транспорт, охраняющий установки баллистических ракет) и южнокорейская турель Super Aegis II могут обнаруживать и стрелять по движущимся целям без надзора человека. Super Aegis II способна точно определить человека с расстояния в 2,2 км.

Производители оружия не любят раскрывать подробностей, и большинство спецификаций засекречено. Однако ясно, что технология перестала быть сдерживающим фактором. По словам представителя британского производителя ракетных вооружений MBDA, «технология не будет ограничивать то, что возможно в будущем». Наоборот, автономное оружие будет ограничиваться политикой, а не возможностями.

Убийца морских звезд

В 2016 году роботы стали стрелять на поражение, не задавая вопросов.

Это не ремейк «Робокопа», а реальная история, произошедшая на Большом барьерном рифе в Австралии. Тогда машина вышла на тропу войны с морскими звездами, которые разрушали кораллы. Робот-убийца по имени COTSbot стал одним из самых совершенных автономных комплексов вооружения в мире. Он мог выбирать цели и применять силу без вмешательства человека.

Робот, истребляющий морских звезд, может и не производить впечатление всемирно важной разработки, однако тот факт, что он был выпущен на риф, стал глобально значимым событием. Выпуск робота на рифы ознаменовал точку невозврата. COTSbot наглядно демонстрирует, что теперь у нас есть технология для создания роботов, которые могут самостоятельно выбирать цели и принимать решения о необходимости убийства. Уже вполне очевидны потенциальные сферы применения таких роботов в жизни человека, начиная от боевых операций и заканчивая правоохранительной деятельностью.

В этом плане COTSbot представляет собой отличную возможность для проверки заявлений об автономности, точности, безопасности, устойчивости к взломам и т. д. в сравнительно благоприятной среде. К тому же это отличная возможность показать, что автономные роботы могут творить как добро, так и зло. Но истинное значение данной разработки заключается в том, что она показывает нам: «Робокоп» становится все более реальным.

Правила ведения боевых действий

Каковы же тогда правила войны? Нет законов, касающихся непосредственно роботов, но все оружие должно соответствовать определенным конвенциям. Один из ключевых принципов заключается в том, что гражданские лица и гражданская собственность не должны подвергаться преднамеренным нападениям, а оружие должно быть в состоянии отличить мирных жителей от солдат. И применение силы должно быть соразмерным – нельзя, чтобы ожидаемое военное преимущество атаки перевешивалось сопутствующим ущербом.

Рональд Аркин считает, что если в этих условиях автономная система летального вооружения проявит себя эффективнее солдат-людей по части сокращения потерь среди мирных жителей, то запреты на развитие этой технологии станут грубой ошибкой. «Нельзя забывать об ошибках и слабостях людей в современных войнах, – говорит он. – Если мы сможем добиться большего успеха, чем они, то спасем жизни».

Другие ученые еще больше подкрепляют мнение Аркина. Эрик Шехтер из Университета Вандербильта в Нэшвилле, штат Теннесси, сказал Wall Street Journal следующее: «Если цель международного гуманитарного права состоит в снижении потерь среди мирного населения в военное время, то использование роботов-снайперов окажется не просто уместным шагом, но и нашим моральным долгом».

Роботы могут сохранять и солдатские жизни. Вместо нанесения воздушного удара по предполагаемой вражеской базе, расположенной, например, в густонаселенном городском районе, роботы могли бы заходить в здание первыми, перед солдатами-людьми, принимая на себя основные риски. Во всех высокорискованных операциях машины должны идти в первых рядах.

Право на достоинство

Это весьма спорная тема. Для многих людей сама идея того, что компьютерная микросхема обладает властью над жизнью и смертью других, вызывает отторжение. По словам Кристофа Хейнса, специального докладчика ООН по вопросам о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях, такая система может противоречить нормам гуманитарного права и права человека на достоинство. «Люди должны быть тесно вовлечены в принятие такого решения. В противном случае будет нарушаться ваше человеческое достоинство», – говорит Хейнс. Он отмечает, что объекты атаки робота не смогут воззвать к его человечности, как сделали бы в случае, если бы оружие находилось в руках человека. Это ничем не лучше истребления, говорит он. Дроны с дистанционным управлением не дают возможности для мольбы о пощаде. Но, по крайней мере, ими управляет оператор-человек, пусть даже удаленно, и именно он должен принимать этические решения. «Надежда на то, что это возможно, все еще есть, – комментирует Хейнс. – А надежда – это часть жизни с достоинством».

По большому счету Хейнс опасается того, что сам называет «деперсонализацией силы». В докладе ООН за 2013 год он предупредил, что «неутомимые военные машины, готовые действовать по нажатию кнопки», могут привести к нескончаемому конфликту в будущем. Если государствам не нужно будет вводить свои войска на чужую территорию, то вступление в войну может стать излишне легким шагом. Даже если машины будут сражаться с другими машинами, огромные сопутствующие потери будут разрушать инфраструктуру страны. А поскольку число жертв существенно снизится, то войны будут продолжаться дольше, сдерживая послевоенное восстановление.

Ноэль Шарки, исследователь искусственного интеллекта и робототехники из Шеффилдского университета в Великобритании, а также лидер кампании против роботов-убийц, десятилетиями пытался привлечь внимание международного сообщества к этому вопросу. Ключевым фактором его решительной кампании выступает понимание недостатков современных технологий. Пока Аркин следит за технологиями будущего, Шарки обеспокоен настоящим. «Я могу создать вам робота-убийцу, который будет искать характерные признаки человека и стрелять в него. На это потребуется не более недели, – заявляет он. – Проблема заключается в том, чтобы отличить мирного жителя от вражеского солдата».

Ухватить эту мысль довольно сложно. Возьмем, например, Aralia Systems – британскую фирму, предоставляющую программы по анализу изображений для приложений систем безопасности. Она может заметить подозрительную активность на записях с систем видеонаблюдения. В 2015 году система зафиксировала деятельность группы людей, которые, как впоследствии выяснилось, выбирали подходящее общественное место для установки бомбы. По словам Райта, данные лица были задержаны и успешно привлечены к ответственности. Но соучредитель компании Глинн Райт открыто признает, что до принятия мгновенных решений в сильно загруженной городской среде еще далеко.

Интервью. Должны ли мы запретить автономное вооружение?

Марк Бишоп, профессор когнитивных вычислений в Голдсмитском колледже Лондонского университета, возглавляет Общество по изучению искусственного интеллекта и моделированию поведения. В этом интервью 2013 года для New Scientist он объясняет, почему так важен запрет на оружие, которое может размещаться и уничтожать цели без вмешательства человека.

– Что такое кампания против роботов-убийц?

– Это конфедерация НПО и инициативных групп, лоббирующих запрет на создание и размещение полностью автономных систем вооружения, в которых у человека нет возможности выбора точной цели и принятия окончательного решения о нападении.

– Насколько мы близки к их реализации?

– Подобные прецеденты уже были. Некоторые системы существовали уже довольно давно. Например, артиллерийская система Phalanx, которой пользуется большинство кораблей ВМС США для обнаружения и автоматического реагирования на возникающие угрозы. Еще пример: беспилотный летательный аппарат израильской Harpy «Выстрелил и забыл» (fire-and-forget), который ищет и уничтожает радиолокационные установки.

– Что движет развитием технологий?

– Текущая западная военная стратегия больше ориентирована на дроны, нежели на традиционные силы. Но дроны с дистанционным управлением легко перехватить. Полностью автономные системы практически невосприимчивы к хакерским атакам. К тому же они снижают затраты. Это означает, что производители могут продавать больше. Так что, с коммерческой точки зрения, разработка автономных систем довольно выгодна, а правительство заинтересовано в их развертывании.

– Какие существуют опасности?

– Есть причины сомневаться в том, насколько правильно автономные системы смогут судить о необходимости атаковать, разумно реагировать на угрозы и корректно разграничивать мирных жителей и вражеские силы. К тому же при взаимодействии со сложными программными системами возникает огромный потенциал для непредвиденных обстоятельств. Яркий пример тому произошел на Amazon в 2011 году, когда автоматические боты для установки цен подняли стоимость книги The Making of a Fly до 23 миллионов долларов.

– Обеспокоены ли вы возможной эскалацией?

– Да. Ученые из Южной Кореи разрабатывают робота для патрулирования границы с Северной Кореей. При его неправильном развертывании или некорректной/нерациональной атаке можно с легкостью представить себе, как незначительное вторжение на границу перерастает в серьезную конфронтацию. Еще более пугающим примером стал случай из 1983 года, когда во время американских военных учений Able Archer российские автоматические системы безопасности ошибочно обнаружили приближающуюся ракету, и лишь вмешательство российского полковника предотвратило начало ядерной войны. Но вероятность дальнейшей эскалации пугает еще сильнее при наличии автономных систем, взаимодействующих друг с другом.

– Разве роботы не могут снизить риски для людей?

– Существует мнение, например американского робототехника Рональда Аркина, будто роботы способны к более беспристрастной оценке, нежели солдаты – скорбящие или жаждущие мести. Мало того, что подобное отношение не решает проблемы эскалации, так еще и не доказывает надежность систем в процессе принятия решений об атаке, соразмерной оценке и точном определении целей.

– И что же нам делать?

– Технология, стоящая за автономными системами, имеет и другие области применения. Например, система управления автомобилями от Google. Поэтому запретить такие разработки будет трудно. Здесь нам стоит прийти к глобальному соглашению о запрете размещения автономного вооружения.

Отдать приказ

Даже если машина научится различать мишени и мирное население, то насколько хорошо она сможет проявить себя при принятии решений этического характера на основании имеющихся данных? Аркин уверен, что в этом нам бы помогла разработка программы, выступающей в роли «этического регулятора». Именно он будет определять реакцию робота на различные обстоятельства. И все же сложность подобной разработки приводит к тому, что такие идеи не выходят за рамки чертежной доски. По состоянию на сегодняшний день человек должен оставаться главным.

Но что это значит? Споры о роботах-убийцах вновь и вновь возвращаются к данной теме. А результативность призывов к запрету автономных систем летального вооружения будет зависеть от того, что именно станут считать решением, принятым человеком. Пока что нет ни одного общепринятого определения. Есть и другая проблема: если заниматься только вопросом роботов-убийц, то потеряются другие важные проблемы, связанные с взаимодействием людей и машин. Вовлеченность человека в процесс не означает исчезновение проблемы с высокотехнологическими убийствами.

Например, в 2003 году оператор американской ракетной батареи Patriot получил автоматическое оповещение об обнаружении приближающейся иракской ракеты. У оператора была доля секунды на принятие решения. Он пришел к выводу, что нужно принять защитные меры, и дал команду открыть огонь. Но мишенью оказался истребитель Tornado RAF, оба пилота которого погибли от ракетного удара. Что же пошло не так? Система, безусловно, неправильно опознала истребитель. Но следствие установило, что это произошло из-за того, что операторы не были должным образом обучены. Как выяснилось, система не была подключена к более широкой сети, которая могла бы дать оператору информацию о том, что истребитель находился в контакте с авиадиспетчерами и не представлял угрозы. В данном случае корнем проблемы являлась именно вовлеченность человека в рабочий процесс.

Вне зависимости от результатов обсуждений в ООН проблемы создания автономных систем летального вооружения не так просты, как нам кажется. Машины – с полной или частичной автономностью – уже стали частью военных действий. А обещание включить человека в технологический процесс не гарантирует отсутствия ошибок. Машины не упрощают войну – они ее усложняют. И здесь у нас много общего.