На протяжении всей истории человечества обязательным условием существования организованного общества была безопасность. У разных культур были разные ценности, у разных государств — разные интересы и стремления, но условием выживания любого народа оставалось умение защищаться — либо самостоятельно, либо вступая в союзы.

Стремясь к безопасности, разные общества и государства использовали технологический прогресс для создания новых, более эффективных методов выявления угроз, повышения готовности, внешнего воздействия и — в случае войны — для применения военной силы. Для древнейших народов решающими часто оказывались достижения в металлургии, фортификационной архитектуре, тягловой силе и кораблестроении. В эпоху раннего Нового времени сопоставимую роль сыграли инновации в огнестрельном оружии и артиллерии, военно-морском кораблестроении, методах навигации и приборах для нее. Размышляя об этом в своем классическом труде «О войне», написанном в 1832 г., прусский военный теоретик Карл фон Клаузевиц заметил: «Насилие использует изобретения искусств и открытия наук, чтобы противостоять насилию же».

Некоторые инновации, такие как строительство валов и рвов, нужны были для обороны — но чем больше с каждым веком человечество стремилось к безопасности, тем больше оно разрабатывало средств нападения — быстрых, мощных, способных преодолевать большие расстояния. К Гражданской войне в США (1861–1865 гг.) и Франко-прусской войне (1870–1871 гг.) военные конфликты все больше приобретали черты «тотальной войны» — с промышленным производством оружия, передачей приказов по телеграфу и транспортировкой войск и снаряжения по железной дороге через континенты.

По мере роста военной мощи передовые государства оценивали друг друга — какая сторона сильнее, какие риски и потери повлечет предстоящая война, будут ли они оправданы, как на результат повлияет союз с другой державой (или ее нейтралитет, или союз с противником) и ее арсенал. Потенциал, цели и задачи различных государств поддерживались, по крайней мере теоретически, в состоянии стратегического паритета.

Баланс сил был нарушен в прошлом веке. Военные технологии множились и становились все более разрушительными, а стратегии их использования — все более туманными. Появление кибернетических технологий и ИИ добавляет к этой картине новые уровни сложности и абстракции.

Первый важный перелом произошел в Первую мировую войну (1914–1918 гг.). В начале 1900-х гг. крупные европейские державы, обладавшие развитой экономикой и мощной наукой, с безграничной самонадеянностью использовали технологические достижения промышленной революции для создания современных вооруженных сил. Они собрали огромные армии и арсеналы (все это перевозилось по железной дороге), начали выпускать пулеметы и другое автоматическое оружие, химическое оружие (теперь оно вне закона), броненосные корабли и первые танки, создали передовые методы производства для скоростного пополнения арсеналов. Они разработали тщательно продуманные стратегии, основанные на быстрой мобилизации, и создали военные союзы, работавшие с механической точностью. В результате локальный кризис — убийство наследника династии Габсбургов сербским националистом — привел к тому, что великие державы Европы, следуя выработанным планам, ввязались в общий конфликт. Результатом стала катастрофа, уничтожившая целое поколение в погоне за результатами, которые не имели никакого отношения к первоначальным военным целям сторон. Распадались империи, и даже победители понесли тяжелый урон, который истощил их на десятилетия и ослабил их международную роль.

Чем больше внимания уделяли крупные державы своим арсеналам и чем больше ресурсов они вкладывали в вооружение, тем больше загадок порождали новые стратегии. В конце Второй мировой войны и после нее целью ведущих государств стало создание ядерного оружия и межконтинентальных систем его доставки — в результате появилась огромная разрушительная сила, реальное использование которой привело бы к самым серьезным последствиям для всего мира. Увидев первое испытание ядерного оружия в пустыне Нью-Мексико, физик Дж. Роберт Оппенгеймер, один из создателей атомной бомбы, процитировал «Бхагавад-гиту»: «Я — Смерть-Всеразрушитель». Это предвосхитило центральный парадокс стратегии холодной войны: доминирующая технология вооружений никогда не использовалась, кроме как для сдерживания действий противника, — но ведь если точные причины бездействия противника неизвестны, возможно, он и не собирался нападать?

Это стратегическое несоответствие целей и возможностей существует до сих пор и не помогает понять, как действовать дальше. Крупные державы создали сверхсовременные вооруженные силы и системы региональных и глобальных альянсов, которые они неохотно используют в войнах с небольшими странами, обладающими более примитивными арсеналами, — как Франция в Алжире, США в Корее, США, а затем Китай во Вьетнаме и, наконец, Советский Союз в Афганистане. Эти же страны разработали кибервозможности, полезность которых во многом была обусловлена их непрозрачностью и скрытностью, а в некоторых случаях — их функционированием в пограничном пространстве между шпионажем, диверсионной работой и обычной войной. Четкого понимания, как будут использоваться новые стратегии и арсеналы, по-прежнему нет. Каждый этап прогресса сопровождается появлением новых уязвимостей.

ИИ еще больше усложняет проблемы современной стратегии, поскольку он выходит за рамки человеческих намерений и человеческого понимания. Даже если страны воздержатся от создания и широкого развертывания так называемых смертоносных автономных систем вооружений — автоматического или полуавтоматического оружия с искусственным интеллектом, которое обучено и уполномочено самостоятельно выбирать цели и атаковать их без дополнительного разрешения человека, — ИИ может расширить обычные, ядерные и кибернетические возможности таким образом, что отношения безопасности между противниками станет сложнее прогнозировать и поддерживать, а конфликты будет сложнее ограничить.

Потенциальные военные возможности ИИ работают на нескольких уровнях и вполне могут оказаться незаменимыми. Истребители, управляемые ИИ, уже показали значительное превосходство над пилотами-людьми в смоделированных боях. Используя некоторые из принципов, обеспечивших победы AlphaZero и открытие халицина, ИИ может выявлять модели поведения противника (включая незапланированные и непреднамеренные) и рекомендовать методы противодействия им. ИИ может выполнять перевод, идентификацию и мгновенную передачу критически важной информации военнослужащим в кризисных зонах, обеспечивая этим успех миссий и спасение жизней.

Ни одна крупная страна не может себе позволить игнорировать военные аспекты ИИ. Гонка за стратегическими преимуществами в области ИИ уже идет, это особенно касается США и Китая. Чем больше стран будет овладевать (хотя бы на словах) теми или иными возможностями ИИ, тем больше стран будет стремиться не отстать от них. По мере успешного внедрения такие возможности будут быстро распространяться. Создание сложного ИИ, безусловно, требует значительных вычислительных мощностей, но распространение ИИ и его применение таких ресурсов, как правило, не требуют.

Все это уже стало реальностью, от которой невозможно спрятаться. Примем как данность, что существуют ядерные, кибернетические и ИИ-технологии. Все они будут играть ту или иную роль в военной стратегии, их развитие неизбежно. Если США и их союзники закроют на это глаза или остановят разработки в этом направлении, мы не приблизимся к миру во всем мире. Наоборот, это сделает мир более опасным, потому что развивать самые грозные стратегические возможности и использовать их будут стороны, не особенно заинтересованные в соблюдении прав человека и развитии демократии. Не только национальные интересы США, но и наш нравственный долг требует, чтобы мы не уступали первенство в этой сфере и развивали ее.

Прогресс и конкуренция в этих областях повлекут за собой колоссальные изменения, которые могут разрушить традиционные концепции безопасности. Прежде чем эти преобразования достигнут точки невозврата, важно определить стратегические доктрины, связанные с ИИ, и сравнить их с доктринами других держав, обладающих ИИ. В ближайшие десятилетия человечеству потребуется концепция баланса сил, которая будет учитывать нематериальные аспекты киберконфликтов и возможность массовой дезинформации, а также отличительные качества войны, управляемой ИИ. Мы должны признать, что соперничающие стороны, обладающие ИИ, должны совместно стремиться к контролю над этим новым видом вооружений. Это не только не противоречит национальной безопасности — это попытка обеспечить безопасность всего человеческого будущего.

Ядерное оружие и сдерживание

В доядерную эпоху, когда появлялось новое оружие, военные включали его в свои арсеналы, а стратеги разрабатывали доктрины, которые позволяли использовать это оружие для достижения политических целей. Появление ядерного оружия разорвало эту связь. В первый и последний раз оно было применено в войне США против Японии (Хиросима и Нагасаки) в 1945 г. Это привело к быстрому окончанию Второй мировой войны на Тихом океане и было сразу же признано переломным моментом в истории человечества. Осваивая новое оружие и включая его в свои арсеналы, ведущие мировые державы продолжали открыто и подробно обсуждать стратегические и моральные последствия его применения.

Обладая мощью, намного превосходящей любую другую форму вооружения, ядерное оружие ставило фундаментальные вопросы: можно ли выработать какой-то руководящий принцип или доктрину, которые позволят использовать эту огромную разрушительную силу в рамках традиционных стратегий? Может ли применение ядерного оружия в политических целях не привести к тотальной войне и взаимному уничтожению? Допустимо ли ограниченное, пропорциональное или тактическое применение ядерной бомбы?

Ответ на эти вопросы оказался скорее отрицательным. И в тот короткий период, пока США обладали ядерной монополией (1945–1949 гг.), и впоследствии, когда они обладали значительно более эффективными системами доставки ядерного оружия, они так и не разработали стратегическую доктрину или не определили моральный принцип, который позволил бы применить ядерное оружие в реальном конфликте. В отсутствие четких взаимных договоренностей ядерных держав ни один политик не мог (как, в сущности, не может и сейчас) знать, что последует за «ограниченным» применением и останется ли оно ограниченным. Во время так называемого Первого кризиса в Тайваньском проливе 1955 г. президент США Эйзенхауэр, угрожая тогда еще неядерной Китайской Народной Республике, заметил, что если она не пойдет на деэскалацию, то он не видит причин, почему бы не использовать тактическое ядерное оружие «точно так же, как пулю или что-либо еще». Прошло почти 70 лет, но проверить это никто так и не попытался.

Вместо этого во время холодной войны главной целью ядерного оружия стало сдерживание — располагая этим оружием, ядерные державы демонстрировали готовность его применить, чтобы предотвратить начало войны противником или применение им собственного ядерного оружия. По своей сути ядерное сдерживание было психологической стратегией с целью убедить противника не предпринимать никаких действий под угрозой противодействия. Эффект применения этой стратегии зависел как от реальных возможностей государства, так и от эмоционального состояния потенциального агрессора. С точки зрения сдерживания не так уж важно, была ли бравада политика напускной и по какой причине государство проявило слабость. Ядерное сдерживание — уникальная стратегия безопасности, которая опирается на ряд непроверяемых абстракций: ведь сдерживающая держава не может доказать, как или с каким перевесом что-то было предотвращено.

Несмотря на эти парадоксы, ядерные арсеналы были включены в основные концепции международного порядка. Пока США обладали ядерной монополией, их арсенал служил в том числе и «ядерным зонтиком» для союзных стран — советское продвижение по Западной Европе сдерживалось перспективой (пусть отдаленной или иллюзорной) того, что США применят ядерное оружие, чтобы остановить его. После того как СССР стал ядерной страной, главной целью ядерного оружия обеих сверхдержав стало сдерживание применения этого оружия другой стороной. Считалось, что существование ядерного оружия, которое может быть использовано для ответа на гипотетическое нападение противника, предотвращает ядерную войну как таковую.

Сверхдержавы времен холодной войны тратили огромные ресурсы на увеличение своего ядерного потенциала — в результате их арсеналы все меньше служили реализации текущей стратегии. Они не смогли сдержать неядерные государства — Китай, Вьетнам, Афганистан — от военных действий против сверхдержав, и точно так же они не смогли воспрепятствовать автономии стран Центральной и Восточной Европы от Москвы.

Во время Корейской войны ядерным оружием обладали только СССР и США, причем США обладали решающим преимуществом в количестве оружия и средств доставки. Тем не менее Соединенные Штаты не решились принять на себя ответственность за последствия ядерной эскалации, не стали наносить ядерный удар и понесли многотысячные потери в сражениях в стиле Первой мировой войны против неядерных китайских и северокорейских сил, которые действовали при поддержке Советского Союза. С тех пор каждая ядерная держава, противостоящая неядерному противнику, поступала так же, хотя это не раз приводило к поражению.

От стратегий того времени было мало толку. Согласно доктрине массированного возмездия 1950-х гг. США угрожали ответить на любое нападение, ядерное или обычное, массированной ядерной эскалацией. Эта доктрина оказалась психологически и дипломатически несостоятельной, а также частично неэффективной, поскольку результатом ее применения мог быть только ядерный Армагеддон. Предлагались доктрины, которые разрешали бы использование тактического ядерного оружия в ограниченной ядерной войне. Но оставались опасения, что эскалацию глобальной ядерной войны не удастся остановить. В результате ядерная стратегия по-прежнему была сосредоточена на сдерживании и обеспечении ядерного потенциала, достаточного для того, чтобы угроза массового уничтожения была достоверной. США распределили свое оружие по географическому принципу и создали «ядерную триаду» из сухопутного, морского и воздушного компонентов, способную действовать в случае внезапного нападения противника и нанести ответный удар. Считается, что СССР изучал возможность использования системы, разработанной таким образом, чтобы она была способна, обнаружив приближение ядерного удара, контратаковать без дальнейшего вмешательства человека.

Стратегов в правительстве и научных кругах беспокоило, что ставка делается на ядерные удары, а не на оборону. Они изучали, каким образом оборонительные системы могли бы расширить для политиков окно принятия решений, давая возможность вести дипломатическую работу — или хотя бы собирать больше информации — во время ядерного противостояния. Но стремление к созданию оборонительных систем лишь еще больше ускорило рост наступательных вооружений.

По мере роста арсеналов обеих сверхдержав возможность реального применения ядерного оружия для контрудара или возмездия стала казаться все более сюрреалистичной и невероятной, потенциально угрожая самой логике сдерживания. Признание этого ядерного тупика породило новую доктрину взаимного гарантированного уничтожения. Согласно этой доктрине, применение ядерного оружия любой стороной вызовет такое количество жертв и разрушений, что ни одна из сторон не может осмелиться нанести первый удар. Человечество разработало «абсолютное оружие» и сопровождающие его стратегические доктрины в поисках мира — результатом был глобальный страх ядерной войны. Концепцией, призванной разрешить эту дилемму, был контроль над вооружениями.

Контроль над вооружениями

Если сдерживание стремилось предотвратить ядерную войну путем взаимных угроз, то контроль над вооружениями был нацелен на предотвращение ядерной войны путем ограничения или даже отмены самого ядерного оружия или отдельных его категорий. Этот подход сочетался с концепцией нераспространения ядерного оружия, подкрепленной сложным набором договоров, технических гарантий, регулирующих и других механизмов контроля. Согласно этой концепции ядерное оружие, а также знания и технологии, поддерживающие его создание, не должны распространяться за пределы тех стран, которые уже обладают им. Никогда в истории человечества не принимались такие меры контроля над вооружениями и нераспространения оружейных технологий. Пока ни одна из стратегий не увенчалась полным успехом. В отношении новых классов оружия, основанных на кибернетических технологиях и ИИ, подобные усилия пока не предпринимались. Сегодня становится все больше стран, обладающих ядерным, кибернетическим и ИИ-оружием, но некоторые уроки эпохи контроля над вооружениями не помешает вспомнить.

После Карибского кризиса (октябрь 1962 г.) сверхдержавы стремились ограничить ядерную гонку с помощью дипломатии. США и СССР с осторожностью пытались найти пределы количества и возможностей ядерного оружия, которые были бы совместимы с поддержанием стратегического равновесия. В конце концов обе стороны согласились ограничить не только свои наступательные арсеналы, но и — следуя парадоксальной логике сдерживания, в которой уязвимость считается гарантией мира, — свои оборонительные возможности. Результатом стали договоры об ограничении стратегических вооружений и противоракетной обороны 1970-х гг., а затем Договор о сокращении стратегических вооружений 1991 г. Достигнутые соглашения сохраняли способность сверхдержав уничтожить — и тем самым сдерживать — друг друга, в то же время ограничивая гонку вооружений.

Хотя Вашингтон и Москва оставались противниками и продолжали вести борьбу за стратегическое преимущество, благодаря переговорам по контролю над вооружениями у них появилась некая определенность для дальнейших шагов по предотвращению всеобщей войны. Информируя друг друга о своих стратегических возможностях и договариваясь об определенных ограничениях и механизмах контроля, обе стороны стремились снять опасность первого удара со стороны потенциального противника.

В итоге эти инициативы стали активно препятствовать дальнейшему распространению ядерных вооружений. США и Россия стали инициаторами режима многосторонних обязательств и многосторонних механизмов, который должен был запретить всем, кроме самых первых ядерных государств, приобретать ядерное оружие или обладать им — в обмен на обязательства помогать другим государствам в использовании ядерных технологий для получения возобновляемой энергии. В ходе различных кризисов и конфликтов того времени их участники не считали возможным применение ядерного оружия. В политике, культуре и в отношениях между политическими лидерами существовало характерное общее отношение к ядерному оружию — все признавали, что ядерная война между крупными державами повлечет за собой необратимые решения и беспрецедентные риски для всех сторон, включая сторонних наблюдателей.

Ядерное оружие поставило политиков перед двумя постоянными связанными между собой проблемами — превосходства и недостатка вооружений. Что означало превосходство в ситуации, когда две сверхдержавы обладали ядерными арсеналами, достаточными для многократного уничтожения всего мира? В этих условиях дополнительное наращивание вооружений уже не обеспечивало явных преимуществ. В то же время горстка стран обзавелась собственными небольшими запасами ядерного оружия, рассчитывая на то, что для сдерживания нападения им нужен арсенал, достаточный для причинения разрушений, а не для достижения полной победы. Таким образом, оказалось, что нет большой разницы между обладанием превосходящими или недостаточными арсеналами, — хоть это и противоречит интуиции.

Но ядерная безопасность не дана нам раз и навсегда. Ее должно обеспечивать каждое поколение политических лидеров — при том, что новые участники «ядерного клуба» стремятся развивать свой ядерный потенциал, имея различные стратегические доктрины и разное отношение к жертвам среди гражданского населения, а уравнения сдерживания становятся все более размытыми и неопределенными. И на фоне этих неразрешенных стратегических парадоксов появляются новые факторы и новые сложности. Во-первых, это кибероружие, которое повышает уязвимость и расширяет поле стратегий и разнообразие сценариев. Во-вторых, это ИИ, который способен изменить обычные, ядерные и кибернетические вооружения и стратегии. Появление новых технологий не положило конец дилеммам, связанным с ядерным оружием, — они стали новыми ограничивающими условиями ведения войн (по крайней мере для ядерных держав).

Война в цифровую эпоху

На протяжении всей истории человечества политическое влияние нации, как правило, примерно соотносилось с ее военной мощью и стратегическими возможностями — ее потенциальной способностью наносить ущерб другим странам. Проблема, однако, в том, что равновесие, основанное на расчете силы, непостоянно и не поддерживает само себя — оно опирается прежде всего на общее понимание того, что считать силой и каковы законные границы ее применения. Соответственно, поддержание этого равновесия требует общего для всех участников системы международных отношений — особенно противников — понимания относительных возможностей и намерений государств, а также последствий агрессии. Наконец, сохранение равновесия требует фактического и признанного паритета. Когда один из участников системы непропорционально усиливает свою мощь, система попытается приспособиться — либо организуя противоборствующую силу, либо подстраиваясь к новой реальности. Если равновесие неустойчиво или не признается участниками международных отношений, риск конфликта резко возрастает.

В наше время расчет равновесия стал еще более абстрактным. Причина тому — кибероружие, класс оружия с неясным статусом. В некоторых случаях кибероружие усиливает военную мощь страны тем, что эта страна не признает его использования и даже существования. Раньше, если начиналась война, сразу становилось известно, что произошло столкновение и какие стороны воюют. Противники оценивали силы участников и темп, в котором эти силы могли быть развернуты. С кибероружием все это не работает.

Даже ядерное оружие существует в обычном мире, где его развертывание может быть замечено, а его возможности определены — хотя бы приблизительно. Напротив, одно из главных свойств кибероружия — его непрозрачность, раскрытие информации о нем может в той или иной степени препятствовать его применению. Например, так называемые атаки нулевого дня используют ранее неизвестные недостатки в программном обеспечении, получая доступ к сети или системе без разрешения или ведома авторизованного пользователя. В случае распределенных DDoS-атак делается множество информационных запросов, блокирующих системы. Истинные источники атак маскируются, что затрудняет или делает невозможной идентификацию атакующего. Один из самых известных случаев промышленного саботажа с использованием кибернетических технологий — атака вируса Stuxnet, которая вывела из строя компьютеры, управлявшие иранскими ядерными разработками, — не обсуждался публично странами, которые, как считается, его осуществили.

Моральные и правовые нормы предписывают использовать обычное и ядерное оружие только против военных сил и объектов. В отличие от этого, кибероружие широко воздействует на вычислительные и коммуникационные сети, часто поражая гражданские системы. Кроме того, кибероружие могут взять на вооружение другие стороны для других целей, включая использование против напавшей стороны. В некоторых отношениях это делает кибероружие похожим на биологическое или химическое оружие, которое может распространяться непреднамеренными и неизвестными способами. Во многих случаях оно воздействует на широкий срез общества, а не только на боевые цели.

Таким образом, те самые свойства кибероружия, которые обеспечивают его эффективность, делают практически невозможным контроль над кибервооружениями. Когда участники переговоров по контролю над ядерным оружием раскрывали или описывали классы боеголовок, они не отрицали возможностей этого оружия. Переговорщикам по кибервооружениям предстоит столкнуться с интересным парадоксом — само обсуждение возможностей кибероружия может означать как его сокращение (если противник устранит уязвимости, против которых оно направлено), так и более широкое распространение (если противник скопирует его код или использует тот же принцип действия).

Эти проблемы усложняются неоднозначностью ключевых терминов и концепций. Различные формы кибервторжений, онлайн-пропаганды и информационной войны разные наблюдатели могут в тех или иных случаях назвать «кибервойной», «кибератакой» и даже «военными действиями», но этот словарь необщепринят и иногда используется непоследовательно. Одни действия, такие как вторжение в сеть для сбора информации, могут быть аналогичны традиционному шпионажу, хотя и в новых масштабах. Другие атаки, такие как цифровые кампании по вмешательству в выборы в социальных сетях, скорее относятся к пропаганде, дезинформации и политическому воздействию — но благодаря вездесущей цифровизации и сетевым платформам это возможно в более широких масштабах и с более высокой эффективностью, чем в предыдущие эпохи. Существуют также формы кибернетического воздействия, которые способны нанести физические потери, сходные с традиционными боевыми потерями. Но как выяснить, началась ли кибервойна, какова ее природа и как далеко она может зайти? Очевидно, что крупнейшие страны в настоящее время вовлечены в некий киберконфликт, природу или масштаб которого невозможно однозначно определить.

Главное противоречие цифрового века заключается в том, что чем больше цифровой потенциал общества, тем более уязвимым оно становится. Компьютеры, системы связи, финансовые рынки, электросети (и цифровые системы командования и управления, от которых они зависят), даже механизмы демократической политики — все эти системы в той или иной степени уязвимы для манипуляций или атак. По мере того как страны с развитой экономикой интегрируют цифровые системы управления и контроля в электростанции и электросети, переносят все больше правительственных программ на большие серверы и в облачные системы, передают все больше данных в электронные реестры, их уязвимость к кибератакам возрастает, в то время как государства со слаборазвитыми технологиями и террористические организации теряют сравнительно меньше.

Сравнительно низкая стоимость киберопераций и их относительная скрытность побуждает некоторые государства использовать для кибервойны полуавтономные группы. В отличие от отрядов, наводнявших Балканы накануне Первой мировой войны, эти группы трудно контролировать, они могут заниматься диверсионной деятельностью без официальной санкции. Поскольку утечки данных и кибердиверсии могут нейтрализовать значительную часть кибернетического потенциала государства или изменить его внутриполитический ландшафт, скорость и непредсказуемость этой области и разнообразие субъектов, которые в ней присутствуют, могут заставить политиков быстро перейти к наступательным действиям, чтобы нанести удар возмездия. Не являясь традиционной войной, такие действия могут оказаться разрушительными для целых стран и отношений между ними.

Быстрота и неоднозначность киберпространства благоприятствуют как наступлению, так и контрнаступлению. При этом возможности киберсдерживания частично зависят от того, что именно планируется сдерживать и как измеряется успех, — но ни одна крупная сторона киберконфликтов, правительственная или неправительственная, не раскрыла всего спектра своих возможностей даже для того, чтобы сдержать действия других сторон. Новые стратегии и доктрины развиваются неопределенно, в теневой сфере. Для обеспечения реальной безопасности современная ситуация требует системного изучения, тесного сотрудничества между правительством и индустриями и — со временем и в соответствующих пределах — обсуждения ограничений с противниками.

ИИ и трансформация безопасности

Коллекция военных парадоксов, загадок и двусмысленностей ядерного оружия и кибероружия сегодня пополняется благодаря возможностям ИИ, которые мы обсудили в предыдущих главах. Страны, которые создают и внедряют ИИ с перспективой военного применения, не афишируют свои разработки, которые тем не менее могут оказать революционное воздействие на политику обороны и безопасности.

Внедрение нечеловеческого мышления в военные системы и процессы изменит стратегию. Вооруженные силы и службы безопасности, использующие ИИ, добьются поразительных, даже ошеломляющих преимуществ. Сотрудничество с ИИ в военном деле может как свести на нет, так и невероятно усилить различные стороны традиционных стратегий и тактик. Если ИИ получит определенную степень контроля над кибернетическими (наступательными или оборонительными) или физическими (такими как авиация) системами вооружений, он сможет успешно выполнять функции, которые сложно реализовывать людям. Такие ИИ, как μZero ВВС США, уже летали на реальных самолетах и управляли радарными системами во время испытательных полетов. ИИ μZero спроектирован так, чтобы он мог самостоятельно применять оружие, но эта возможность отключена. Нет гарантии, что другие страны и команды разработчиков не дадут военным ИИ больше свободы.

Способность ИИ к автономии и логике создает не только потенциальную пользу, но и колоссальную неопределенность. Большинство традиционных военных стратегий и тактик основаны на предположении о существовании противника-человека, который будет вести себя узнаваемым образом, в соответствии с человеческим опытом и здравым смыслом. Однако ИИ, управляющий самолетом в поисках цели, будет следовать своей собственной логике, неизвестной противнику, невосприимчивой к традиционным сигналам и уловкам и при этом работающей очень быстро — гораздо быстрее, чем человеческое мышление.

В войне всегда много неопределенности и случайностей, но ИИ выводит их на новый уровень. Поскольку ИИ динамичен и эмерджентен, даже сами разработчики ИИ и пользователи оружия, основанного на ИИ, не могут точно знать, насколько оно мощное и что оно будет делать в той или иной ситуации. Как разработать наступательную или оборонительную стратегию для ИИ, который видит мир не так, как человек, обучаясь и изменяясь намного быстрее человека? Если результат применения некоторых видов оружия будет зависеть от восприятия ИИ и от выводов, которые он сделает (на основе расчетов, иногда непостижимых для человеческого разума), — не значит ли это, что выяснить стратегическое назначение этого оружия можно будет только в процессе его применения? Если потенциальный противник обучает свой ИИ в режиме секретности, как вообще узнать, кто побеждает и кто отстает в гонке вооружений?

Критическая точка традиционной войны — психология противника, именно против нее направлены стратегические действия. Но у алгоритма нет психологии, морали или сомнений, у него есть только его инструкции и цели. Поскольку ИИ может развиваться и меняться в процессе использования, ни одна из сторон не сможет точно предвидеть, каковы будут результаты (и сопутствующий ущерб) от применения ИИ, — в лучшем случае у них будет приблизительное представление об этом. И тогда стратеги и инженеры будут стремиться создать оружие, рассчитанное на скорость, широту воздействия и степень поражения — параметры, которые могут сделать такие конфликты более обширными и интенсивными.

Мы не призываем к разоружению или стратегии одностороннего отказа от вооружений — такое крайне редко возможно на практике. Как и в других стратегических областях, гарантия безопасности в случае с ИИ — сильная защита. Но, вооружаясь, потенциальные противники обязаны тщательно разобраться в том, что произойдет с внедрением ИИ в военное дело. Какой станет война — более гуманной и точной или более жестокой?

ИИ и машинное обучение меняют стратегические и тактические возможности сторон, расширяя действие существующих классов оружия. ИИ делает обычное оружие не просто более точным — теоретически он может нацелить оружие на конкретного человека или объект. Если военные или террористические группы будут использовать такие возможности для нападения на отдельных военных, политических, деловых или общественных лидеров, характер войны существенно изменится. Наступательный ИИ может научиться проникать в систему защиты без традиционной кибератаки, путем изучения огромных массивов информации. Оборонительный ИИ может находить и устранять уязвимости защиты до того, как ими воспользуется противник.

Темп военных действий, проходящих под управлением ИИ, неминуемо вырастет. Это может привести к появлению полностью или почти полностью автоматизированных систем обороны и контратаки (считается, что советская сторона занималась разработкой таких систем еще во время холодной войны). Результат автоматической отработки функций таких систем может выглядеть аналогично выполнению взаимосвязанных мобилизационных планов и обязательств, которые привели к катастрофе Первой мировой войны, — но без участия или почти без участия человека.

Если страна столкнется в бою с противником, который внедрил ИИ, обученный управлять самолетами и принимать самостоятельные решения о применении оружия, — какие изменения в тактике, стратегии или готовности прибегнуть к эскалации (возможно, ядерной) это вызовет? Какую реакцию вызовет отказ державы подтвердить или опровергнуть применение боевого ИИ?

Если говорить не только о классических боевых действиях, ИИ открывает новые горизонты возможностей в информационном пространстве — как в области мониторинга, так и в области дезинформации и подрывной деятельности. Генеративный ИИ может создавать огромные объемы ложной, но правдоподобной информации — включая искусственно созданных личностей, изображения, видео и речь, что особенно критично для свободных обществ. В общем доступе могут оказаться выглядящие реалистичными фотографии и видеозаписи, на которых общественные деятели говорят то, чего они никогда не говорили. Теоретически ИИ можно использовать для определения наиболее эффективных способов доставки дезинформации и ее адаптации к предубеждениям и ожиданиям общественности. Если противник использует фальсифицированные видео и изображения национального лидера для разжигания розни или распространения ложной информации, сможет ли общественность, включая правительства и официальных лиц, вовремя распознать обман?

В отличие от ядерной сферы, для такого использования ИИ не существует четкой концепции сдерживания (или степени эскалации при применении). Оружие с поддержкой ИИ (как физическое, так и кибернетическое) активно разрабатывается и, возможно, уже применяется. Державы, обладающие ИИ (как государства, так и негосударственные субъекты), будут развертывать машины и системы, использующие быструю логику, эмерджентное и эволюционирующее поведение для нападения, защиты, наблюдения, распространения дезинформации, а также выявления и уничтожения ИИ противников. Некоторые достижения будут засекречены или использованы неожиданно, другие, напротив, будут широко пропагандироваться в качестве меры сдерживания. И когда ИИ столкнутся друг с другом во время военных действий, это приведет к результатам, которые трудно предсказать.

По мере развития и распространения трансформационных возможностей ИИ ведущие страны будут стремиться к достижению и сохранению превосходства. Следует ожидать, что противники будут стремиться к тому же, не ограничиваясь полумерами. Важно понимать, что распространение ИИ, как во благо, так и во вред, обязательно произойдет: любые новые функции ИИ будут распространяться быстро и неподконтрольно правительствам.

Поскольку ИИ имеет двойное (гражданское и военное) назначение и может легко копироваться, распространение этих технологий будет крайне сложно контролировать. Попытки контроля будут подавляться наступательным оружием, кроме того, средства контроля будут естественным образом устаревать по мере технологического прогресса. Кроме того, новые пользователи ИИ будут адаптировать базовые алгоритмы к совершенно новым целям. Коммерческий ИИ можно легко перепрофилировать с гражданского использования на военное — например, для целей безопасности или информационной войны. Поскольку разработчиками ИИ по большей части будут негосударственные субъекты, обладающие специальными навыками и знаниями, — университеты, исследовательские лаборатории, операторы сетевых платформ, о которых мы говорили в главе 4, правительства не всегда смогут определять стратегически важные аспекты развития передовых ИИ в соответствии с их концепциями национальных интересов.

Определить «кибербаланс сил» или осуществить «сдерживание ИИ» сейчас очень трудно, если вообще возможно, — хотя бы потому, что эти понятия пока не определены, а планирование будет носить абстрактный характер. Это значит, что стороны будут стремиться сдержать противника угрозой оружия, последствия применения которого не очень хорошо известны. В таком случае менее технологически развитые страны, столкнувшись с державой, обладающей оружием с поддержкой ИИ, о возможностях которого, по сути, ничего не известно, могут не выдержать психологического воздействия такой ситуации и либо постараются вооружиться аналогичными средствами, либо применят непредусмотренные виды оружия и тактики.

Самый революционный и непредсказуемый эффект может вызвать взаимодействие ИИ и человеческого интеллекта. Раньше военные, планируя боевые действия, всегда могли в той или иной степени понять доктрину, тактику и стратегию своего противника. Основываясь на общих для всех людей возможностях и подходах, военные разрабатывали стратегию и тактику противодействия, а также символический язык демонстративных военных действий, таких как перехват самолета, приближающегося к государственной границе, или ввод кораблей в спорные воды. Но если военные будут использовать для планирования или ведения военных действий ИИ — даже как вспомогательное средство во время патрулирования или военного конфликта, — знакомые концепции и символы потеряют смысл, поскольку речь идет о взаимодействии с интеллектом, методы и тактика которого неизвестны. В тех случаях, когда военные будут передавать ИИ определенные функции, очень важно будет уметь прогнозировать и описывать ожидаемые последствия.

Переход к ИИ и системам вооружений с поддержкой ИИ означает как минимум частичную зависимость от интеллекта с огромным аналитическим потенциалом и принципиально иной парадигмой опыта, а в крайних случаях — передачу ему полномочий. В самом мягком случае ИИ будет способствовать обучению военнослужащих, помогая им оттачивать навыки и обнаруживать закономерности, которых люди ранее не замечали. Но даже такой способ использования ИИ может быть рискованным. Программное обеспечение для распознавания лиц на базе ИИ уже приводило к ошибочным арестам — подобные сбои военного ИИ могут привести к тому, что обычные действия сил противника будут идентифицированы как признаки готовящегося вторжения. Это значит, что операторы-люди обязательно должны отслеживать и контролировать действия ИИ, которые могут привести к непоправимым последствиям. Даже если это не позволит избежать всех ошибок, то, по крайней мере, у человека останутся моральная ответственность и подотчетность — те самые ограничения, которые предотвращают беспричинный ущерб и позволяют наказывать злоумышленников.

Однако самый глубокий вызов может быть философским. Чем больше ИИ будет задействован в концептуальных и аналитических аспектах стратегии, недоступных человеческому разуму, тем менее понятными для человека будут его процессы, влияние и результаты деятельности. Если политики придут к выводу, что помощь ИИ необходима для выяснения возможностей и намерений противника (который может иметь собственный ИИ) и своевременного реагирования на них, может оказаться неизбежным делегирование машинам критически важных решений и функций. Скорее всего, каждая страна самостоятельно нащупает свой предел подобного делегирования и соответствующих рисков и последствий. Ведущие державы не должны ждать войны, чтобы начать диалог о последствиях — стратегических, доктринальных и моральных — всех этих перемен.

Управление ИИ

Эти практические и философские вопросы необходимо рассмотреть и понять до того, как ИИ отправится на войну. Их актуальность растет, поскольку военные действия с участием кибернетики и ИИ уже не ограничены полями сражений, они в некотором смысле возможны везде, где есть цифровая сеть. Сегодня программное обеспечение управляет весьма обширной сферой физических систем, многие из которых — иногда вплоть до дверных замков и холодильников — объединены в сеть. Благодаря элементарной возможности цифровых схем передавать информацию и команды другим схемам возникла система потрясающей сложности и масштаба.

Военным силам, вооруженным ИИ, очень важно научиться находить некое взаимопонимание и сдерживать друг друга. Поскольку цифровые системы легко и относительно незаметно изменяются путем доработки компьютерного кода, крупные державы имеют право предполагать, что их противники могли продвинуть стратегически важные разработки и внедрение ИИ несколько дальше, чем они признали публично или пообещали конфиденциально. В чисто техническом смысле ИИ не так сложно переключить с разведки и поиска целей на активные военные действия, поэтому задачу создания систем взаимного сдерживания и контроля нужно решить во что бы то ни стало.

В процессе поиска решения этой проблемы придется учитывать динамичную природу ИИ. Допустим, кибероружие, созданное ИИ, сможет самостоятельно адаптироваться и обучаться. Это означает, что по мере того, как ИИ реагирует на окружающую обстановку, будут меняться возможности оружия, включая выбор цели. Если вид оружия или сфера его применения окажутся иными, чем предполагали или предупреждали его создатели, будет бессмысленно пытаться просчитывать меры сдерживания или эскалации. Вот почему люди должны сохранять контроль над диапазоном действий, которые способен предпринять ИИ, — как на начальном этапе проектирования, так и путем сохранения контроля над системой, которая стала отклоняться в сторону нежелательных действий. Такие ограничения должны быть взаимными.

Ограничения на возможности ИИ и кибернетического потенциала будет сложно определить, а распространение оружия на базе ИИ — сложно остановить. Потенциал, созданный и используемый крупными державами, может попасть в руки террористов. Малые государства, не обладающие ядерным оружием, могут многократно усилить свое влияние, инвестируя в передовые арсеналы ИИ и кибероружия. Будут задействованы также оборонительные возможности кибер- и информационного пространства, такие как выявление вредоносного контента в цифровых медиа или кибернетическое управление оборонительными системами на базе ИИ. В той мере, в какой подобные системы работают внутри страны или на сетевых платформах, ориентированных на гражданское население, их характеристики и проблемы будут аналогичны тем, которые мы рассматривали в главе 4.

Государства неизбежно будут делегировать алгоритмам ИИ (в том числе управляемым частными организациями) малые, не ведущие к человеческим жертвам задачи, включая обнаружение и предотвращение кибератак. Так называемая поверхность атаки цифрового общества, активно использующего компьютерные сети, слишком обширна, чтобы операторы-люди могли защищать ее вручную. С переходом многих аспектов человеческой жизни в онлайн и продолжением цифровизации экономики растет вероятность того, что ИИ-диверсии смогут нарушать работу целых секторов экономики. Чтобы уйти от такой опасности, странам, компаниям и даже отдельным людям придется вооружаться средствами кибербезопасности. Наиболее экстремальной (хотя все равно потенциально несовершенной) формой такой защиты будет разрыв сетевых соединений и отключение систем от сети, особенно для государств. Если не прибегать к таким крайним мерам, то некоторые жизненно важные функции киберзащиты будет способен выполнять только ИИ, отчасти из-за огромных размеров киберпространства и почти бесконечного множества возможных действий в нем. В подобной гонке вооружений противникам потребуются огромные объемы данных и вычислительные мощности, поэтому лидировать в этой области смогут лишь несколько стран.

За системами обороны с поддержкой ИИ скрывается самая сложная категория — смертоносные автономные системы вооружений. Обычно под ними понимают системы, которые после активации могут выбирать и поражать цели без дальнейшего вмешательства человека — в том числе со смертельным исходом. Ключевой вопрос в этой области — человеческий надзор и возможность своевременного вмешательства человека.

Обычно системы, оснащенные ИИ, контролируются человеком, задача которого — предоставлять разрешение на определенные действия. Но если это не будет ограничено контролируемыми межгосударственными соглашениями, новейшие формы систем вооружений смогут выполнять самые широкие боевые задачи — такие как защита границ, уничтожение материальных или кибернетических объектов и т.п. — и без существенного участия человека. Обеспечить человеческий контроль применения силы в этих сферах крайне важно, но такие ограничения не будут иметь смысла, если они будут приняты в одностороннем порядке — одной страной или небольшой группой стран. Такие меры должны быть взаимными и подкрепленными принудительным контролем, в противном случае риск кризиса или внезапной эскалации, вызванных применением автономного оружия, будет расти.

Поскольку эти технологии не просто изучаются, а реально используются, существует риск преждевременного применения основанного на них оружия, за которым последует война. Например, страна, которая пытается упредить своего противника, может атаковать его — но чем оправдать такую атаку? Действительно ли противник создал потенциал, о котором подозревал нападающий, и был ли он использован? Соответственно, возможны две группы доктрин: одна — ориентированная на ограничение и сдерживание, другая — на соперничество и превосходство. Это неразрешимый спор. Обе стороны могут быть правы в том смысле, что технология должна развиваться (становясь более эффективной и более угрожающей), чтобы противостоять ожидаемым угрозам. В этом смысле и распространение, и сдерживание являются вполне логичными целями и в некоторых случаях могут быть совместимы — но только если крупные державы будут наращивать свои вооружения в рамках проверяемых ограничений. Переговоры должны быть направлены на ограничение этой гонки, при этом важно, чтобы обе стороны в общих чертах знали, что делает противник, и ни одна сторона не скрывала свои самые важные для безопасности секреты. Полного доверия не будет никогда — но, как показали переговоры по ядерному оружию времен холодной войны, нужно пытаться достичь определенного взаимного доверия.

Раньше военные и гражданские области было легко разделить по признакам технологической дифференциации, сосредоточения контроля и степени поражения. Технологическая дифференциация означает, что технология имеет либо исключительно военное, либо исключительно гражданское применение (в отличие от технологий двойного назначения). Сосредоточение контроля означает, что правительство может легко управлять технологией, которую оно контролирует, в отличие от технологий, распространение которых происходит вне контроля правительства. Наконец, степень поражения говорит о разрушительном потенциале технологии.

Многие технологии в истории человечества имели двойное назначение, или легко распространялись, или обладали огромным разрушительным потенциалом. Однако до сих пор ни одна из них не обладала всеми тремя качествами: двойным применением, легкостью распространения и значительным разрушительным потенциалом. Железные дороги имеют двойное назначение, они обеспечивают перевозки как промышленных товаров, так и военной силы — но не имеют разрушительного потенциала. Ядерные технологии часто имеют двойное назначение и могут создавать огромный разрушительный потенциал, но их инфраструктура слишком сложна, поэтому они подконтрольны правительству. Огнестрельное оружие легко распространяется и имеет двойное назначение, но не является оружием массового поражения.

ИИ ломает эту парадигму: он имеет двойное назначение, легко распространяется (это всего лишь код) и, как правило (за некоторыми примечательными исключениями), может работать на отдельных компьютерах или в небольших сетях, что означает неподконтрольность правительствам, и обладает значительным разрушительным потенциалом. Эта уникальная комбинация качеств в сочетании с широким кругом заинтересованных сторон порождает стратегические проблемы нового уровня сложности.

Благодаря оружию с поддержкой ИИ станут возможными исключительно быстрые цифровые атаки с использованием цифровых уязвимостей. У государств может фактически не остаться времени на оценку признаков готовящейся атаки, им придется реагировать немедленно, чтобы не потерпеть поражение, поэтому они будут создавать системы на базе ИИ, отслеживающие признаки атак и способные контратаковать до того, как произошла атака. Как и в начале XX в., информация о существовании такой системы может послужить толчком к разработкам параллельной технологии или технологии, основанной на других алгоритмах. Стороны, вынужденные напасть первыми, могут сознательно пренебречь необходимостью действовать разумно — если человек вообще будет участвовать в принятии таких решений.

Известно, что новейшие «квантовые» алгоритмы ИИ, используемые на фондовом рынке, могут выявлять рыночные закономерности и реагировать на них со скоростью, превосходящей возможности самых искусных трейдеров. Компании, использующие такие алгоритмы, передали им контроль некоторых аспектов торговли ценными бумагами. Во многих случаях эти системы обеспечивают весьма значительные прибыли, но иногда они допускают грубые ошибки в расчетах — потенциально более серьезные, чем самая грубая человеческая ошибка.

Такие ошибки, происходящие в финансовом мире, все же относительно безопасны для жизни. Но аналогичный сбой в военной сфере может стать катастрофой. Если для защиты от цифровой атаки ИИ перейдет в наступление и проникнет в сеть противника, чтобы пресечь нападение на его территории, может быть непреднамеренно запущена эскалация.

Попытки использовать новые технические возможности в рамках некой стратегии и с сохранением международного равновесия осложняются тем, что знания, необходимые для технологического превосходства, больше не сосредоточены исключительно в правительственных или академических учреждениях. У новых стратегических технологий широкий круг создателей — от традиционных государственных подрядчиков до индивидуальных разработчиков, предпринимателей, стартапов и частных исследовательских лабораторий. Не все они будут считать себя обязанными работать исключительно ради поддержки национальных интересов, определенных федеральным правительством. Открытое взаимодействие промышленности, научных кругов и правительства может помочь преодолеть этот разрыв и обеспечить понимание стратегического влияния ИИ. Сегодняшние стратегические и технологические вызовы беспрецедентны — ведь у нас нет единого мнения ни о характере этих вызовов, ни даже о словаре для их обсуждения.

Нерешенной проблемой ядерной эпохи было то, что человечество разработало технологию, для которой стратеги не могли найти жизнеспособной оперативной доктрины. Дилемма эпохи ИИ будет противоположной — ее определяющая технология будет повсеместно приобретаться, осваиваться и применяться. В этих условиях сдерживание — или даже достижение коллективного определения сдерживания — будет сложнее, чем когда-либо прежде.

Человек владеет ядерными технологиями совсем недавно и не решил всех проблем управления ядерным оружием. Тем не менее задача оценки ядерного баланса была сравнительно простой — боеголовки можно было подсчитать, их мощность была известна. В отличие от этого, возможности ИИ динамичны, а обнаружить его присутствие или проверить его отсутствие при нынешних технологиях сложно или невозможно. Сдерживание в новую эпоху, скорее всего, будет основано не на таких простых инструментах, как подсчет боеголовок, а на существенно более сложных, таких как оценка скорости реакции ИИ и множества векторов, по которым может пойти атака.

Чтобы управлять ИИ, стратегам придется решить, как интегрировать ИИ в ответственную модель международных отношений. Если оружие будет применено хоть раз, то можно не сомневаться в том, что оно будет применяться и дальше, поэтому еще до первого применения стратеги должны разобраться в том, какие последствия будет иметь неоднократное применение, к чему может привести эскалация и как обеспечить деэскалацию. Политики будут вынуждены решать целый комплекс вопросов — вооружений, оборонительных технологий и стратегий, а также контроля над вооружениями. И поскольку по мере интеграции ИИ в новые виды оружия, стратегии и тактики контроль вооружений будет становиться пропорционально сложнее, доктрины должны быть сформулированы заранее, и решения должны приниматься до применения оружия.

Каковы будут требования к сдерживанию? Очевидной отправной точкой будет наложение ограничений — во времена холодной войны этот подход был успешным. Некоторые возможности были ограничены (например, пусковые установки ракет не имели боеголовок), другие (например, ракеты средней дальности) были полностью запрещены. Но ни ограничение существующих возможностей ИИ, ни ограничение их количества не повлияют на их гражданское использование и непрерывное развитие. Дополнительные ограничения придется наложить на возможности ИИ по обучению и поиску целей.

США уже провели различие между оружием с поддержкой ИИ, которое позволяет человеку более успешно вести войну, и оружием с ИИ, которое принимает смертоносные решения независимо от человека. Цель США — ограничить использование ИИ первой категорией, чтобы никто в мире не обладал оружием второй категории. Это ограничение разумно. Решающее значение в этом случае будет иметь определение характера и способа ограничения оружия с поддержкой ИИ, чтобы ограничения не устарели сразу после их принятия из-за способности технологии к обучению и развитию.

В XIX–XX вв. государства выработали ограничения на определенные формы ведения войны, например с использованием химического оружия или с массовыми жертвами среди гражданского населения. Поскольку оружие на базе ИИ делает возможными новые виды военных действий или значительно меняет существовавшие ранее способы ведения войны, страны мира должны срочно выработать новые ограничения. Эти соглашения должны быть достигнуты до того, как ИИ окажется способным их нарушить. Если конечной целью является баланс, переговоры должны быть многосторонними, а не двусторонними, чтобы учесть широкое распространение ИИ и его постоянное обучение и развитие. Простого реагирования на то, что уже существует, недостаточно.

Старая борьба в новом мире

Каждая крупная технологически развитая страна должна признать, что она стоит на пороге стратегической трансформации, которая вызовет еще более разнообразные и непредсказуемые последствия, чем появление ядерного оружия. Каждая страна, которая совершенствует технологии ИИ, должна создать национальный орган для изучения аспектов обороны и безопасности в условиях существования оружия на базе ИИ, а также общих перспектив различных секторов, определяющих создание и развертывание ИИ. На этот орган должны быть возложены две функции: обеспечение конкурентоспособности по отношению к остальному миру, координация действий с аналогичными органами в других странах, включая противников, и оценка того, как избежать эскалации или кризиса.

Если мы будем двигаться в этом направлении, то в конечном итоге эта стратегия может быть признана двумя основными мировыми ИИ-державами — США и Китаем, которые считают друг друга главными стратегическими конкурентами. Стратеги с обеих сторон должны ясно оценить уроки предыдущих соперничеств крупных держав и признать существование отличительных аспектов эпохи, в которой армии используют ядерный, кибернетический и ИИ-потенциал в дополнение к обычным арсеналам. Вероятно, они придут к выводу, что США и Китай (а также, возможно, Россия) должны договориться о том, что эти страны не будут вступать друг с другом в войну с применением кибероружия и ИИ. Отдельной специализированной группе чиновников в каждом правительстве можно поручить следить за выполнением этого обязательства и отчитываться об этом непосредственно перед руководителями стран. На данный момент общественные настроения в этих странах не способствуют такому начинанию, однако чем дольше эти державы будут относиться друг к другу как к противникам, не вступая в такой диалог, тем больше шансов, что произойдет кризис, который не нужен ни одной из сторон и о котором все будут сожалеть.

Парадокс международной системы заключается в том, что каждая держава вынуждена действовать — более того, должна действовать — в интересах собственной безопасности. Но при этом, чтобы избежать постоянной череды войн, каждая страна должна признать, хотя бы неявно, ответственность за поддержание всеобщего мира — а это невозможно без ограничений. И если военный обязан мыслить и планировать дальнейшие действия в терминах наихудших сценариев, то государственный деятель (а это может быть одно и то же лицо) обязан думать о том, как именно будут реализованы эти возможности и как будет выглядеть мир после этого.

Какой бы витиеватой ни была военная доктрина и какой бы сложной ни была система вооружений, стратегию исполняют люди, и она должна служить человеческим интересам. В наше время, когда возможности ИИ и кибернетических технологий растут огромными темпами, а вопросы, связанные с ядерным оружием, все еще не решены, лидеры государств не должны повторить ошибки, которые привели Европу к Первой мировой войне. Если в войну вступит ИИ с его нечеловеческими скоростями, нас ждет ущерб, который будет очень сложно компенсировать.

Унаследованная стратегическая логика должна быть адаптирована к эпохе ИИ (а не вытеснена) — но теперь нам придется быстрее преодолевать наши худшие инстинкты. ИИ будет действовать быстрее, чем люди, принимающие решения. Защиту придется автоматизировать, но при этом нельзя упразднять основные элементы человеческого контроля. Неоднозначность ИИ в сочетании с его динамичностью, эмерджентностью и легкостью распространения усложнит принятие решений. В прежние эпохи лишь несколько великих держав или сверхдержав несли ответственность за предотвращение военной катастрофы, но вскоре может оказаться, что эта задача стоит уже перед сотнями стран.

Лидеры наступающей эпохи могут стремиться к решению шести основных задач по контролю над своими арсеналами обычного, ядерного, кибернетического и ИИ-оружия.

Во-первых, начиная с самых высоких уровней в каждой крупной стране и регионе необходимо стремиться к тому, чтобы увидеть опасность и не дать ей реализоваться. Лидеры стран-соперников, как и их предшественники времен холодной войны, должны быть готовы к переговорам о тех формах войны, которые они не должны вести друг против друга. Чтобы добиться этого, США и их союзники должны объединиться вокруг интересов и ценностей, которые они считают общими, неотъемлемыми и нерушимыми и которые отражают опыт поколений, выросших в конце холодной войны или после нее.

Во-вторых, необходимо вернуться к проблемам ядерной стратегии и признать их одним из величайших стратегических, технических и моральных вызовов человечества. В течение многих десятилетий ядерную политику определяли и стимулировали воспоминания о тлеющих Хиросиме и Нагасаки и страх, порожденный Карибским кризисом. Ядерные вопросы признавались уникальными и серьезными на широкой культурной и политической арене, но, как сказал бывший госсекретарь Джордж Шульц в интервью Конгрессу три года назад: «Я боюсь, что люди забыли об этом состоянии ужаса». Лидеры ядерных держав должны вернуться к совместной работе по предотвращению ядерной катастрофы.

В-третьих, ведущие кибер- и ИИ-державы должны попытаться определить свои доктрины и ограничения в терминах, отражающих отличительные аспекты кибероружия и оружия на базе ИИ, и выявить соответствие между своими доктринами и доктринами противников. В этих областях очень много нового и непонятного в свете традиционных стратегических концепций, но это необходимо для того, чтобы добиться сдерживания, сохранить мир и не допустить новой мировой войны.

В-четвертых, государства, обладающие ядерным оружием, должны обязаться проводить собственные внутренние проверки своих ядерных систем управления, контроля и раннего предупреждения. Это позволит создать систему безопасности для защиты от киберугроз и несанкционированного, непреднамеренного или случайного применения ядерного оружия, а также предотвращения кибератак на системы ядерного управления, контроля и раннего предупреждения.

В-пятых, военные и дипломатические ведомства должны выработать общие методы для увеличения времени принятия решений на случай повышенной напряженности и экстремальных ситуаций — особенно когда лидеры опасаются, что их страны могут оказаться под угрозой нападения. Это может стать общей важнейшей целью, особенно для противников, которые заинтересованы в создании системы взаимной безопасности, которая будет работать как в краткосрочной перспективе, так и в дальнейшем. Передовые системы, которые разрабатываются и внедряются правительствами, должны служить людям, и в условиях кризиса именно люди должны нести окончательную ответственность за дальнейшие действия. Даже противники должны попытаться договориться о том, как предотвратить необратимые решения или хотя бы сделать так, чтобы они принимались в темпе, присущем человеку.

Наконец, как только будет сформирована группа крупных ИИ-держав, им следует подумать о системных усилиях по нераспространению ИИ-оружия, подкрепленных дипломатией и угрозой применения силы. Если существуют силы, которым ни в коем случае, даже ценой войны, нельзя позволить получить эту технологию, их нужно назвать и решить, кто будет обеспечивать соблюдение ограничений. Ядерные державы исследовали подобную концепцию в отношении распространения ядерного оружия, но с переменным успехом. Если не помешать самым агрессивным и непримиримым правительствам мира поставить себе на вооружение эту новую разрушительную технологию, это может опрокинуть существующее стратегическое равновесие.

Все это наводит на мысль о главных особенностях ИИ-оружия, которые необходимо учитывать для сохранения мира.

Первая особенность: скорость. Кибератаки происходят слишком быстро для того, чтобы человек мог на них среагировать, поэтому оборонительные системы будут стремиться к автоматизму. Но поскольку нет эффективного способа выявить и устранить все возможные уязвимости, сети должны иметь уровни защиты (во избежание нарушений) и возможность полного отключения.

Вторая особенность: неточная интерпретация. В настоящее время отсутствует глубокое понимание типов кибернетических и ИИ-атак, как и соответствующих ответных мер. Допустим, атака является очень целенаправленной и поражает только военные системы — но будет ли этот факт очевиден до начала ответных действий? Что представляет собой соразмерный ответ и сможет ли ИИ точно оценить его? Военная доктрина США о реагировании на нападение «теми способами и в те сроки, которые мы посчитаем нужными» подразумевает соразмерность ответа, этого требует и международное право.

Третья особенность: принятие решений, в особенности автоматическое. Фактор скорости означает, что системы должны реагировать быстрее, чем способен отреагировать человек. Использование ИИ для целеуказания или анализа — не то же самое, что использование ИИ для автоматического принятия решений. И если ИИ рекомендует ответные действия, на человека будет оказано огромное давление.

Четвертая особенность: эмерджентное поведение. ИИ может генерировать результаты, которых люди не ожидают и не могут смоделировать с помощью существующих систем. ИИ, которому поставлена цель, может использовать непредвиденную тактику для ее достижения, нанося непредвиденный сопутствующий ущерб или вызывая непредвиденную эскалацию со стороны противника. Это значит, что перед развертыванием ИИ он должен быть проверен на предмет точности выполнения отданных команд.

Пятая особенность: невидимость и непрозрачность. Новое оружие, созданное на компьютере, может быть невидимым, его легко хранить в полном секрете. Когда же о нем станет известно, возникнет опасность упреждающей атаки. Современная военная доктрина требует предотвращать применение оружия противником. Целью программы, которая работает по этому принципу, может быть уничтожение кибер- или ИИ-возможностей противника до их использования. Но как это будет работать, если ИИ невозможно идентифицировать? Где проходит грань между допустимым упреждением и неоправданной агрессией и как страны будут преодолевать эти трудности?

И над всем этим, как дамоклов меч, нависает ядерная угроза. Страна, которой угрожает полное поражение в киберконфликте, может пойти на ядерную эскалацию. Как возможности кибернетики и ИИ соотносятся с существующими военными силами? Какие категории кибератак могут вызвать ответ обычным или ядерным оружием? Какие категории атак потребуют такого ответа?

Мы задаем эти вопросы, пытаясь обозначить проблемы разработки стратегии, создаваемые ИИ. Договоренности (и сопутствующие им механизмы коммуникации, принуждения и контроля), достигнутые в ядерную эпоху, могли и не быть заключены — но они появились благодаря человеческим усилиям, изобретательности и взаимному признанию опасности.

Когда наступит кризис, будет слишком поздно начинать обсуждение этих вопросов. Если в военном конфликте будет применен ИИ, это практически гарантирует, что дипломатия не успеет принять никаких мер. Ведущие державы должны пойти на обсуждение кибернетического оружия и оружия на основе ИИ хотя бы для того, чтобы выработать общий набор стратегических концепций и некоторое представление об ограничениях. Ограничения нужно устанавливать сейчас, когда человечество начинает создавать новые интеллектуальные средства уничтожения, способные к эволюции. Если случится трагедия, слишком поздно будет обсуждать ограничительные меры. Стремление к национальному превосходству в эпоху ИИ должно идти рука об руку со стремлением сохранения человечества.