Терминатор добрался до страниц Science. В выпуске этого престижного журнала от 20 декабря присутствует статья под названием «Ученые выступают против роботов-убийц», дающая представление о нарастающем стихийном движении против автономных машин для убийства на полях сражений. Чтобы вы не подумали, что речь идет о все увеличивающемся флоте дронов, которые с таким энтузиазмом используют США, – ну вы знаете, того оружия, которое администрация Обамы восхваляет как гораздо «более точное» в сравнении с обычными авиаударами, по крайней мере на тех пресс-конференциях, где они не выражают соболезнования в связи с тем, что еще одна свадебная вечеринка в Йемене была случайно взорвана во время очередной атаки «Хищников», – давайте я введу вас в курс дела. «Хищники» – марионетки, а не роботы. Пусть их пилоты и попивают кофеек в каком-нибудь кондиционируемом аризонском офисе, управляя своей техникой издалека, но, по крайней мере, решение превратить детишек в сопутствующие потери принимается людьми.

Конечно, проблема (ладно, одна из проблем) с управлением марионеткой с расстояния 8000 километров в том, что ее ниточки можно заглушить или хакнуть. (Возможно, вы слышали об иракских партизанах, перехвативших видеосигнал «Хищника» с помощью железок, которые в магазине радиотоваров стоят 26 долларов максимум.) Как было бы прекрасно, если бы мы не нуждались в этой пуповине. Как было бы прекрасно, если бы наши роботы принимали решения сами.

У меня, как у фантаста, от таких проблем традиционно стояк (я даже пару лет назад написал на эту тему рассказ – «Малак»). Я отслеживаю подобные разработки. Нам говорят, что еще нескоро появятся по-настоящему автономные машины-убийцы: роботы, способные отличить своих от чужих, оценить относительный потенциал угрозы, принять решение убить эту цель, а вон ту оставить в живых. Но они будут. Конечно, Пентагон в 2013 году заявил, что у него нет «никаких полностью автономных систем, ни в разработке, ни в планах», – но когда последний раз кто-нибудь верил Пентагону? Особенно в свете директивы Департамента обороны США за 2012 год, где открытым текстом обозначены критерии для «разработки и использования автономных и полуавтономных функций в оружейных системах, включая пилотируемые и беспилотные платформы».

Покопайтесь в этой директиве и обнаружите традиционные сладкоречивые уверения в том, что Реальный контроль останется за людьми. Чрезвычайно важным считается, например, что «в случае частичной или полной потери связи система не будет автономно выбирать и атаковать индивидуальные цели или конкретные группы целей, которые не были прежде выбраны авторизованным оператором-человеком». Но не нужно быть Айзеком Азимовым, чтобы увидеть, как легко можно обойти это конкретное правило робототехники. Предположим, оператор-человек действительно одобрил цель как раз перед тем, как потерял связь с дроном. Теперь дрону дозволено охотиться за ней самостоятельно. Откуда ему знать, что цель, только что показавшаяся из-за вон того камня, – та же, которая нырнула за него десятью секундами раньше? Может, он ориентируется на черты лица? А если на цели одежда, скрывающая лицо? Может, он ориентируется на одежду? А если цель поменяется головными уборами с другом?

Согласно журналу Science, борьба против создания таких машин – которую ведут организации с названиями типа «Конвенция о конкретных видах обычного оружия» и «Международный комитет по контролю над роботизированным оружием» – основывается на том аргументе, что роботы не обладают надежной способностью различать комбатантов и мирных жителей в пылу сражения. Я нахожу этот аргумент одновременно тревожным и неубедительным. Самое очевидное возражение опирается на закон Мура: если роботы не могут чего-то сегодня, есть чертовски неплохая вероятность, что они смогут это завтра. Еще одна проблема – такая, что может укусить вас за жопу прямо сейчас, пока вы ждете наступления завтра, – в том, что даже люди не всегда способны надежно различать друзей и врагов. По крайней мере, североамериканским копам часто спускают с рук то, что они расстреляли какого-нибудь невинного гражданина, ошибочно предположив, что их жертва тянется за пистолетом, а не за мобильником.

Неужели кто-то действительно верит, что мы будем предъявлять к машинам более высокие требования, чем к себе самим? Или, как сформулировали Лин и др. еще в 2008 году, в работе «Автономные военные роботы: риск, этичность и проектирование»:

Ах да, военные преступления. Мой последний аргумент. Видите ли, очень сложно повесить военное преступление на машину. Если стандартный дистанционно управляемый дрон взорвет группу гражданских, вы всегда сможете предъявить обвинение оператору на другом конце мира или вышестоящему офицеру, приказавшему открыть огонь (не то чтобы такое на самом деле случалось, конечно). Но если машина сама решила уничтожить всех этих невинных людей, кого вы обвините? Тех, кто авторизовал ее отправку на задание? Тех, кто ее спроектировал? Какую-нибудь ученую-компьютерщицу, не осознававшую, что ее докторскую диссертацию по машинному зрению присвоит начальник с жирным военным контрактом?

Или это вообще перестанет быть военным преступлением и превратится во что-то менее… предосудительное? В какой момент жертвы среди мирного населения становятся не более чем трагическим случаем на производстве?

По моему мнению, настоящая угроза – не в ненадежности роботов, но в намеренной эксплуатации этой ненадежности генералами. У военных теперь есть стимул: не ограничивать применение технологии, не улучшать ее умение отличать своих от чужих, но использовать это ненадежное оружие так широко, как только возможно. В 2008 году человек по имени Стивен Уайт написал статью под названием «Дивный новый мир: нейровойны и границы международного гуманитарного права». Там говорилось о юридических и этических следствиях применения нейрооружия, но предостережения Уайта актуальны по отношению к любой технологии, забирающей из рук человека право решать вопросы жизни и смерти:

«…международное гуманитарное право создаст извращенные мотивации, поощряющие разработку целых классов вооружения, которое правительство сможет использовать, чтобы избежать уголовного наказания даже за самые серьезные военные преступления».

Конечно, итоговый результат может оказаться не так плох. Вероятно, в конце концов технология будет улучшена до такой степени, что решения роботов будут не просто равняться тем, что рождаются в бренном мясе человеческих мозгов, а превосходить их. В таких условиях военным преступлением будет не доверить машинам спусковой крючок. Под контролем их идеальных алгоритмов боевые потери уменьшатся до малой доли тех жертв, в которых было повинно человеческое командование. В конце концов мы можем оказаться в лучшем мире.

И все же. Готов поспорить, что по пути туда мы прольем реки крови.