Распознать начало новой эры и предвидеть изменения, которые она несет, нелегко. В этой книге мы поставили перед собой цель исследовать важные аспекты зарождающейся эпохи ИИ, чтобы лучше понять, предсказать и направить ее развитие.

С исторической и философской точек зрения будет уместно сопоставить назревающую ситуацию со временем развития книгопечатания в Европе XV в. Знания в средневековой Европе почитались, но книги были редкостью. Авторы создавали памятники литературы, занимались логическими умозаключениями, а также энциклопедическим компилированием фактов, легенд и верований. Книги были сокровищем, доступным немногим, — их нелегко было заполучить даже людям из образованных классов. Большую часть опыта в те времена приобретали самостоятельно, а знания передавали из уст в уста.

В 1450 г. Иоганн Гутенберг, шлифовщик из немецкого города Майнца, заняв деньги у ростовщика, создал печатный станок. Эксперимент Гутенберга едва удался — его бизнес потерпел крах, а кредитор подал в суд, — но к 1455 г. появилась Библия Гутенберга (на латыни), первая в Европе настоящая печатная книга. Технологические достижения в области печати привели к значительно более масштабной революции, которая отразилась на всех сферах жизни Запада, а в конечном счете и всего мира. К 1500 г. в Европе находилось в обороте ориентировочно 15–20 млн печатных книг, а цена отдельной книги резко упала. Были широко распространены переводы Библии на живые языки, труды классических авторов по истории, литературе, грамматике и логике.

До появления печатной книги европейцы той эпохи получали знания в основном путем общественных отношений — участвуя в сезонных циклах выращивания урожая, в религиозных обрядах, в цеховых объединениях ремесленников. Когда появлялась новая информация или возникали новые идеи (зарубежные новости, усовершенствования сельскохозяйственных или промышленных технологий, очередные богословские толкования), их передавали либо устно через общину, либо переписывая рукописи.

Когда широким слоям общества стали доступны печатные книги, отношение человека к знаниям изменилось. Новая информация и идеи стали распространяться быстрее и по более разнообразным каналам. Появилась возможность находить полезную информацию и самостоятельно изучать ее. Читая тексты в их исходной форме, люди могли сами анализировать общепринятые истины. Те, кто имел твердые убеждения и доступ к хотя бы скромным ресурсам или покровителя, могли публиковать свои выводы и интерпретации. Быстро тиражировалась информация о научных достижениях, общепринятым методом политических и богословских споров стал обмен памфлетами. Распространение новых идей все чаще свергало или коренным образом меняло устоявшиеся порядки, приводя к интеллектуальному брожению в религии (Реформация), революциям в политике (изменение представлений о национальном суверенитете) и новым научным концепциям (новая картина мира).

Сегодня наступает новая эпоха, когда технологии меняют знания, открытия, коммуникации и индивидуальное мышление. Человечество создало новую цифровую область, и теперь мы создаем в ней новые формы интеллекта. ИИ — это не человек. Он не надеется, не мечтает, не молится и не чувствует, он не обладает сознанием или способностью к рефлексии. Это творение человека, и оно отражает разработанные человеком процессы, выполняющиеся на машинах, созданных человеком. Тем не менее в некоторых случаях, при огромных масштабах и скорости, он дает результаты, приближающиеся к тем, что до сих пор достигались только с помощью человеческого разума. Хотя этот новый интеллект разрабатывается людьми, он использует некую собственную логику, которая не похожа на нашу, но может казаться человеческой.

ИИ может открыть аспекты реальности, более невероятные, чем те, о которых мы когда-либо задумывались. Люди или государства, которые привлекут ИИ в качестве партнера для усиления навыков или реализации идей, будут способны на подвиги — научные, медицинские, военные, политические и социальные, — которые затмят достижения предшественников или соперников. Однако, если интеллектуальные машины будут рассматриваться как ключ к достижению лучших и быстрых результатов, наш собственный разум может показаться архаичным и недостаточным. Независимое применение человеческого разума может отойти на второй план.

Печатная революция XV в. в Европе породила множество новых тем и идей, изменив и обогатив привычную жизнь. Революция ИИ может привести к значительным научным и экономическим достижениям, но ее влияние на уровень дискурса пока трудно определить. Помогая людям ориентироваться в массивах цифровой информации, революция ИИ может обогатить и расширить поле нашего мышления — но может случиться и так, что ИИ, оценивая закономерности в массе доступных данных, просто создаст набор очевидных истин, которые станут общепринятыми на континентальных и глобальных сетевых платформах. Это может снизить нашу способность к спонтанности и критическому поиску, которая определила нынешнюю эпоху, или направить различные страны или сообщества сетевых платформ в отдельные и противоречивые ветви реальности.

ИИ может пойти на пользу или — при его неправильном использовании — во вред человечеству, но сам факт его существования бросает вызов основополагающим допущениям. До сих пор люди сами развивали свое понимание реальности, и эта способность определяла наше место в мире и отношение к нему. На этом фундаменте мы создавали философские учения, выбирали формы правления, разрабатывали военные стратегии и моральные заповеди. Теперь ИИ показал, что могут существовать иные способы исследования реальности, возможно, более глубокие, чем самостоятельное познание мира людьми. Иногда ИИ будет добиваться не менее ошеломляющих открытий, чем достижения самых влиятельных мыслителей-людей своих эпох, которые порождали озарения и бросали вызов устоявшимся концепциям, требовавшим переосмысления. Чаще ИИ будет невидимым, вездесущим и встроенным в обыденность, тонко приспосабливающим нашу реальность к нам так, чтобы у нас это не вызывало протеста.

Мы должны признать, что достижения ИИ в рамках определенных для него параметров иногда не уступают или даже превосходят те, на которые способен человек. Мы можем успокаивать себя тем, что ИИ никогда не сможет достичь сознательного, человеческого восприятия реальности. Но когда мы столкнемся с некоторыми достижениями ИИ, способного на мыслительные, технические, стратегические прорывы, обучаемого на основе больших и сложных систем, сложного в управлении, станет очевидно, что перед нами иная сущность с иным опытом восприятия мира.

Благодаря ИИ перед нами открываются широкие горизонты. Пределы человеческого разума ограничивали нашу способность собирать и анализировать данные, фильтровать и обрабатывать новости и разговоры, вести социальную жизнь в цифровой среде. ИИ позволяет нам более эффективно ориентироваться в этих сферах. Он может расширить наше видение, снабжая нас информацией и показывая нам тенденции, которых не могли так же изящно и эффективно выявить традиционные алгоритмы. ИИ может более тесно связать нас с этими сферами, предоставляя нужный нам контент — близкую нам информацию и соответствующие нашему мировоззрению материалы. ИИ не только расширяет наше понимание физической реальности — он позволяет нам организовать и освоить растущий цифровой мир.

Одновременно ИИ ослабляет нас. Из-за него постепенно исчезает человеческий разум в том виде, в каком мы привыкли к нему в современную эпоху. Социальные сети лишают человека пространства для размышлений, поиск в интернете отменяет потребность в организации знаний, а ИИ усиливает обе эти тенденции. Алгоритмы и раньше бесперебойно снабжали людей затягивающим контентом, а ИИ делает это еще эффективнее. Время, необходимое для внимательного чтения или глубокого анализа, сокращается, снижается мотивация к размышлению, становится все труднее отказаться от преимуществ цифровой среды, при этом растет ее способность развлекать и отвлекать. Как следствие, роль человека в анализе, проверке и осмыслении информации снижается — человеческий анализ все чаще дополняют или вытесняют системы с ИИ.

Если романтики утверждали, что субъективные человеческие эмоции — достоверный и важный источник опыта, а постмодернисты поставили под сомнение саму возможность видения объективной реальности через фильтр субъективного опыта, то ИИ идет еще дальше. Открывая нам новые объективные факты, такие как медицинские диагнозы, прогнозы промышленных и экологических катастроф, угрозы безопасности и т.п., ИИ будет перестраивать информацию в сфере СМИ, политики, общественной дискуссии и развлечений в соответствии с нашими предпочтениями, подтверждая предубеждения, усугубляя субъективность опыта и сужая доступ к объективной реальности. Таким образом, в эпоху ИИ человеческий разум будет не только дополнен, но и ослаблен, причем совершенно новыми способами.

По мере того как эти технологии вплетаются в ткань нашего повседневного существования, расширяют и трансформируют его, человечество, естественно, будет сталкиваться с противоречивыми импульсами. Найдется круг людей, которые, столкнувшись с ИИ, поддадутся искушению рассматривать его суждения как проявления божественного. И такие побуждения, пусть ошибочные, не будут совсем лишены смысла, ведь если «интеллект», не поддающийся пониманию или контролю, будет делать полезные выводы, почему бы не подчиниться его суждениям — даже если они могут показаться чуждыми? Так может возникнуть новая глобальная «религия» с ИИ в роли прорицателя, которому некоторые будут доверять, не имея разумного и глубокого понимания.

Такой культ принизит роль человеческого разума. И так же, как некоторые отказываются от социальных сетей, ограничивают для своих детей время пользования гаджетами или отказываются от продуктов питания с ГМО, найдутся люди, которые попытаются отказаться от пользования благами ИИ или ограничить влияние ИИ-систем на свою картину мира. В либеральных странах такой выбор, хотя бы на уровне отдельного человека или семьи, наверное, будет возможен — но он будет равносилен отказу не только от таких удобств, как рекомендации фильмов к просмотру или прокладывание маршрутов, но и от огромных массивов данных, сетевых платформ и прогресса во всех областях — от здравоохранения до финансов, которыми нас все больше и больше обеспечивает ИИ.

Отказ от ИИ на уровне цивилизации будет, скорее всего, невозможен, и руководителям государств придется противостоять негативным последствиям внедрения этой технологии.

Исключительно важно разработать этический кодекс для эпохи ИИ, и это задача не для какой-то одной сферы. Компьютерные ученые и руководители компаний — разработчиков технологий, внедряющие эти технологии военные стратеги, политические лидеры как их заказчики и пользователи, философы и богословы в поисках глубинных смыслов этих технологий — все они видят свою часть картины, и все они должны вести диалог, в ходе которого им придется отказаться от предубеждений.

У человечества будет три основных варианта действий: ограничить ИИ, сотрудничать с ним или отступить перед ним. Эти варианты отражают как философские, так и практические аспекты применения ИИ в конкретных задачах или областях. Например, что делать в критической ситуации при управлении самолетом или автомобилем — должен ли ИИ-пилот подчиниться человеку или наоборот? Людям в каждом случае придется отвечать на эти вопросы, некоторые ответы будут меняться по мере развития возможностей ИИ и тестирования машинного обучения. Иногда будет уместно послушаться ИИ — раз уж он может раньше и точнее диагностировать рак груди по маммограмме, нужно использовать это для спасения жизней. Иногда лучшим вариантом будет партнерство — например, автопилоты автомобилей, скорее всего, будут функционировать аналогично автопилотам современных самолетов. Наконец, для критических условий, например войны, важно выработать строгие и четкие ограничения, которые будут беспрекословно выполняться.

Появление ИИ изменит наше понимание того, что мы знаем, как мы это узнали и что еще доступно нашему знанию. В Новое время ценились знания, полученные человеческим разумом в процессе умозаключений, сбора и изучения данных, на основе наблюдений. Идеальным видом истины было уникальное проверяемое знание, доказанное проверяемыми способами. В век ИИ мы принимаем концепцию знания как результата партнерства между людьми и машинами. Люди создают и запускают компьютерные алгоритмы, которые исследуют данные гораздо быстрее и систематичнее, чем человек, и делают выводы, которые могут отражать особенности мира, находящиеся за пределами нашего понимания.

Таким образом, люди и ИИ вместе проверяют на прочность и раздвигают границы человеческого знания о нашем физическом мире. ИИ уже вышел за пределы человеческого восприятия. В одних случаях это обусловлено тем, что алгоритмы и вычислительная мощность позволяют ИИ быстро проходить путь обучения, на который у человеческого разума ушли бы десятилетия или столетия, но в других случаях сами по себе скорость и вычислительная мощность не объясняют достижений ИИ.

Верно ли, что люди и ИИ подходят к одним и тем же явлениям с разных точек зрения и с разными взаимодополняющими возможностями? Или же существуют две пересекающиеся реальности: одну развивают люди с помощью своего разума, а другую — ИИ с помощью его алгоритмов? Если верно второе, то мы не можем воспринять то, что воспринимает ИИ, не только потому, что у нас не хватает на это временнóго ресурса, но и потому, что эти вещи существуют в сфере, в принципе недоступной нашему разуму. Это изменит наш процесс познания — мы смиримся с тем, что получение определенных знаний нам придется доверить ИИ. В любом случае, по мере того как ИИ будет решать все более сложные и объемные задачи, люди все чаще будут воспринимать его как особую сущность, испытывающую и познающую мир, — не просто инструмент, а нечто живое и разумное.

Эта головоломка становится тем сложнее, чем ближе мы будем к появлению ИИ общего назначения (AGI). Как описано в главе 3, AGI не будет ограничен обучением и выполнением конкретных задач, как существующие ИИ, он по определению будет обучаться и выполнять широкий спектр задач, подобно человеку. Разработка таких ИИ потребует огромных вычислительных мощностей, и это, вероятно, приведет к тому, что их созданием будут заниматься лишь немногие мощные и хорошо финансируемые организации. Как и нынешний ИИ, AGI будет легко тиражируемым, но, учитывая его возможности, доступ к AGI будет предоставляться лишь небольшому числу организаций. Для остальных доступ будет ограничен (это реализуемо, если предоставлять AGI в качестве услуги, а не распространять его как программное обеспечение). Но тогда возникнут неизбежные вопросы: кто контролирует AGI и доступ к нему? Возможна ли демократия в мире с несколькими уникальными «гениальными» машинами, которыми управляет лишь небольшое число организаций (коммерческих, правительственных или некоммерческих)? Как вообще в таких условиях возможно партнерство с ИИ? Появление AGI, если оно произойдет, станет важным интеллектуальным, научным и стратегическим событием. Но ИИ и без этого знаменует революцию для человечества.

ИИ отличают от предшествующих технологий динамичность и способность к эмерджентным — неожиданным — действиям и решениям. Нерегулируемые и неконтролируемые, ИИ могут делать не совсем то и не совсем так, как мы от них ожидаем, без нашей сознательной команды на то. Мы не всегда будем вольны сами принять решение о типе взаимодействия с ИИ — ограничение, партнерство или отступление, — в некоторых случаях выбор будет навязан обстоятельствами. Внутри человечества идет постоянная конкуренция, и преимущества автоматизации процессов, изучения огромных массивов данных и реорганизации физического и социального мира при помощи ИИ могут достаться тем, кому первыми удастся ими воспользоваться. Такая конкуренция может вынудить нас внедрять ИИ, не имея времени на оценку рисков — или пренебрегая рисками.

Все это выдвигает на первый план вопросы этики. Каждое отдельное решение о сдерживании ИИ, партнерстве с ним или отступлении перед ним может иметь или не иметь критических последствий, но совокупный эффект этих решений будет расти и определять ход истории. Если человечеству не все равно, каким окажется его будущее, оно должно договориться об общих подходах к каждому отдельному решению, чтобы каждая страна могла сдерживать ИИ, сотрудничать с ним или давать ему свободу действий там, где это необходимо. Добиться коллективных действий будет сложно, а иногда невозможно, но, если пустить все на самотек и не пытаться выработать общую этику, нестабильность, скорее всего, будет расти.

Те, кто разрабатывает ИИ, обучает его и сотрудничает с ним, смогут добиться результатов такого масштаба и сложности, которые до сих пор были недоступны человечеству, — новых научных прорывов, новой экономической эффективности, новых форм безопасности и, возможно, общественного контроля. В результате обычные люди могут почувствовать, что за ними наблюдают, что их изучают и что на них постоянно и повсеместно воздействует нечто совершенно непонятное, — во многих странах такое раньше считалось недопустимым. Разработчики и интеграторы ИИ должны быть готовы к решению этих проблем. Они должны быть в состоянии объяснить всем остальным, что именно делает ИИ и почему, а также что он «знает» и как он это узнаёт.

Динамичность и эмерджентность ИИ порождают два вида неопределенности. Во-первых, ИИ может действовать так, как мы его инструктировали, но при этом приводить к результатам, которых мы не предвидели. ИИ динамичен, он может завести человечество не туда, куда мы ожидали. Подобно тому, как государственные деятели в 1914 г. не смогли предугадать, что технологический прогресс и логика военной мобилизации заставят всю Европу начать войну, неподготовленное внедрение ИИ тоже может иметь серьезные негативные последствия — как опасное для жизни решение автомобиля с автопилотом или серьезный военный конфликт. Во-вторых, ИИ может быть непредсказуемым, его действия могут стать полной неожиданностью. Рассмотрим ИИ AlphaZero, который, решая задачу «выиграть в шахматы», разработал такой стиль игры, до которого люди не смогли додуматься за всю тысячелетнюю историю игры. Люди могут очень тщательно ставить задачи ИИ, но по мере того, как он будет получать от нас все больше свободы, он будет выбирать все более неожиданные или тревожащие пути достижения результатов.

Вот почему задачи и степени свободы ИИ должны определяться с осторожностью, особенно в тех областях, где его решения могут быть смертельно опасны. ИИ не должен работать автоматически, ему не следует позволять предпринимать необратимые действия без наблюдения, мониторинга или прямого контроля со стороны человека. Созданный людьми, ИИ должен контролироваться людьми. Одна из сегодняшних проблем ИИ заключается в том, что, обладая навыками и ресурсами для его создания, мы пока не охватили всю философскую перспективу для понимания последствий. Разработчиков ИИ, как правило, волнуют создаваемые ими приложения и решаемые задачи — они не задумываются о том, могут ли их творения привести к революции исторического масштаба и как они способны повлиять на различные группы населения. Эпохе ИИ нужны новые Декарт и Кант, чтобы объяснить происходящее и предсказать его последствия для нас и человеческой идентичности.

Ограничивать ИИ придется более жестко, чем мы ограничиваем сами себя. Обсуждения и переговоры с участием правительств, университетов и корпоративных инноваторов должны быть направлены на ограничение практических действий ИИ — аналогично тому, как сегодня регулируются действия людей и организаций. ИИ имеет общие признаки с некоторыми продуктами, услугами, технологиями и организациями, которые уже подвергаются регулированию, но по важнейшим параметрам он от них отличается, и поэтому для него нужна отдельная, полностью определенная концептуальная и правовая база. Она должна учитывать, например, проблему динамичности и эмерджентности ИИ, из-за которых он может непредсказуемо меняться. Управление людьми отражает человеческую этику — подобно этому, нам нужны принципы и этика для ИИ.

Существующие принципы часто будут неприменимы. Если в Средние века виновность человека могло определить испытание перед Богом, то в эпоху Просвещения подсудимым стали выносить приговоры в соответствии с доводами разума, определяя виновность и назначая наказание в соответствии с такими понятиями, как нанесенный вред и злой умысел. Но у ИИ нет человеческого разума, человеческих мотиваций, намерений и способности к саморефлексии. Кроме того, внедрение ИИ усложняет существующие принципы правосудия даже в применении к человеку. Если автономная система причинила вред, руководствуясь собственными представлениями и решениями, должен ли нести ответственность ее создатель? А если ИИ применяется для контроля, предотвращения или расследования правонарушений — должен ли он обосновать свои выводы, чтобы они имели силу для людей? Эти загадки необходимо разрешить.

Очень важно понять, в каких контекстах и на каком этапе эволюции этой технологии на нее должны распространяться ограничения, согласованные на международном уровне, — и это должно быть одной из главных тем обсуждений. Если сделать это слишком рано, развитие технологии будет заторможено или уйдет в тень, а если сделать это слишком поздно, возможны пагубные последствия — особенно в военной области. Проблема усугубляется сложностью разработки эффективных режимов контроля для технологии, которую невозможно отследить и идентифицировать и которая при этом легко распространяется. Вопрос о том, кто должен решать эти вопросы — только лишь правительства или правительства в сотрудничестве с инженерами, специалистами по этике, разработчиками ИИ и представителями других областей, — требует рассмотрения, но надолго откладывать его решение нельзя.

На уровне отдельных стран предстоит решить сложные дилеммы. Большая часть нашей социальной и политической жизни сегодня проходит на сетевых платформах. Демократические страны особенно сильно зависят от этих информационных пространств, открытых для дебатов и дискуссий, формирующих общественное мнение и придающих легитимность правительствам. Кто или какие институты должны определять роль ИИ? Кто должен регулировать ИИ? Какую роль должны играть люди, использующие ИИ? А корпорации, которые производят ИИ? Правительства стран, которые применяют ИИ? В рамках решения этих вопросов ИИ во многих случаях должен быть аудируемым — то есть выводы, которые он делает, должны быть проверяемы. Выработка ответов на поставленные вопросы будет зависеть от разработки принципов восприятия и принятия решений ИИ. У самостоятельных ИИ нет морали, воли и чувства вины. Аналогичные вопросы придется решать для большинства других аспектов общества, от транспорта до финансовых рынков и медицины.

Рассмотрим влияние ИИ на социальные сети. Это молодые онлайн-сервисы, но они все чаще отражают жизненно важные аспекты нашей общественной жизни. Власть, которой пользуются Twitter и Facebook, когда они продвигают, ограничивают или запрещают тот или иной контент или тех или иных авторов, показывает, что эти сетевые платформы заняли в нашем обществе центральное место. Мы уже не можем использовать сетевые платформы без ИИ, но одностороннее, непрозрачное продвижение контента и отдельных людей — это тоже результат работы ИИ. Сможем ли мы сохранить свою самостоятельность по мере того, как наша социальная и политическая жизнь все больше перемещается в области, курируемые ИИ, в которых мы не можем ориентироваться без этого курирования?

Используя ИИ для навигации по информационным массивам, мы сталкиваемся с проблемой искажения информации — когда ИИ создает для нас ту картину мира, которую мы инстинктивно предпочитаем. Наши когнитивные предубеждения порождают «эхо», которое усиливается благодаря ИИ — и в конечном счете создает дезинформацию и способствует ее распространению. Для контроля дезинформации и борьбы с ней также используется ИИ. Как мы видим, применение ИИ может привести — и уже приводит — к непреднамеренным печальным последствиям. Операторы социальных сетей не стремятся к продвижению экстремистской информации и разжиганию политической ненависти — но совершенно очевидно, что их работа также не привела и к усиленной пропаганде просвещения. При этом попытки направить ИИ соцсетей на формирование взаимопонимания или распространение точной информации также вызывают протесты, поскольку воспринимаются как форма контроля со стороны алгоритмов.

Проложить маршрут между этими полюсами — важнейшая задача для всех свободных стран нашего времени. Но какова же должна быть природа наших отношений с ИИ? Как нам поступить — изолировать его, наделить его полномочиями или сделать нашим партнером? Не подлежит сомнению, что распространение определенной информации — особенно дезинформации — может нанести ущерб обществу, разобщить его и разжечь вражду. Определенные ограничения необходимы — но наша сегодняшняя готовность осуждать, пресекать и уничтожать «вредную» информацию тоже должна заставить задуматься. В свободных странах корпорации не должны монопольно решать, какая информация является вредной и что такое дезинформация. Если эта функция будет доверена правительственной комиссии или агентству, то этот орган должен действовать в соответствии с определенными публичными стандартами, а используемые им процессы должны поддаваться контролю. Если это будет делать специальный ИИ, то постановка задач, обучение и работа этого ИИ должны быть ясны, аудируемы и доступны для обжалования.

Конечно, у разных стран разные вкусы и установки. Некоторые страны придают особое значение свободе слова, и они будут ограничивать роль ИИ в модерации контента в соответствии со сформированным у них пониманием индивидуального самовыражения. Каждая страна выберет то, что ценно для нее, — и это приведет к разногласиям с операторами транснациональных сетевых платформ. ИИ учится у нас даже в процессе разработки, поэтому будет иметь значение не только выбор каждой страны, но и ее отношения с ИИ, ее восприятие ИИ и модели поведения, которым ИИ будет учиться у своих наставников-людей. Но поиск фактов и истины не должен приводить к тому, чтобы общество воспринимало жизнь через скрытые неконтролируемые фильтры. Важная особенность человека — спонтанное восприятие реальности во всей ее противоречивости и сложности, даже если это приводит к снижению эффективности и ошибкам.

Учитывая ставки, существует огромное количество вопросов, на которые можно ответить только на глобальном уровне. Как регулировать сетевые платформы, не провоцируя напряженность между странами, обеспокоенными возможными последствиями для безопасности? Могут ли сетевые платформы разрушить традиционные концепции государственного суверенитета наподобие того, как в XX в. это сделали такие институты, как ЕС? Не навяжут ли эти институты всему миру такую полярность, какой не существовало со времен распада Советского Союза? Как на это отреагируют малые государства? Может ли такая попытка иметь надежду на успех?

По мере того как возможности ИИ будут расти, все более важно будет определить роль человечества в партнерстве с ИИ. Можно представить себе мир, в котором люди будут все больше подчиняться ИИ — а масштабы вопросов, решаемых ИИ, будут расти. Но если противник успешно развертывает ИИ — можно ли ответственно решить не развертывать свой собственный ИИ, даже если последствия точно не известны? И разумно ли отказаться от ИИ, который превосходно предсказывает наиболее эффективный курс действий, если этот курс повлечет за собой огромные жертвы? Как политик может удостовериться в том, что эти жертвы необходимы для победы? А если такая уверенность есть — захочет ли политик отказаться от этих жертв?

Человеку всегда сопутствовало его несовершенство. Даже лучшие лидеры принимают решения, не имея полной информации или в ситуации сложного выбора. Политики бывают пристрастны, они могут действовать на основе ошибочных предположений, они могут быть неспособны глубоко мыслить или задавать важные вопросы. Иногда они действуют под влиянием чистых эмоций. Их видение мира может искажать болезнь или идеология. Какие бы стратегии ни разрабатывались для организации партнерства человека и ИИ, это необходимо учитывать. ИИ может показывать в некоторых областях сверхчеловеческие способности, но его придется приспосабливать и к несовершенному человеческому контексту.

Дилемма сферы безопасности заключается в том, что возможность внедрения ИИ и кибероружия одной стороной может побудить противника, не имеющего такой возможности, атаковать первым. Это непохоже на ту ситуацию, которую создает ядерное оружие. Если ядерное оружие находится в международных рамках доктрин безопасности и концепций контроля над вооружениями, разработанных и дорабатываемых на протяжении десятилетий правительствами, учеными, стратегами и специалистами по этике, то ИИ и кибероружие не ограничены подобными рамками, а те рамки, которые существуют, правительства не готовы обсуждать. Страны — и, возможно, технологические компании — должны договориться о том, что будет допустимо и как будут сосуществовать различные силы, вооруженные ИИ. США и их союзники столкнутся с дополнительными вопросами, важнейшим из которых будет влияние ИИ на процветание демократических обществ.

Распространение оборонного ИИ изменит международное равновесие и те расчеты, путем которых оно до сих пор поддерживалось. Ядерное оружие стоит дорого, и его трудно скрыть. Создание ИИ тоже может потребовать ресурсов крупных компаний или целых государств, но поскольку использование ИИ осуществляется на относительно небольших компьютерах, то ИИ в целом будет широко доступен, в том числе способами, для которых он не был предназначен. В результате не будет ли ИИ-оружие доступно любому, у кого есть ноутбук, подключение к интернету и соответствующая квалификация? Будут ли правительства снабжать ИИ-вооружением наемников? Будет ли ИИ доступен террористам? Смогут ли они обвинять в совершенных ими преступлениях государства или другие субъекты?

Влияние ИИ на международные отношения будет весьма значительным. Расширятся как диапазон доступной информации, так и свобода действий для дипломатии. Национальные границы буквально растворятся. ИИ-переводчики облегчат межъязыковое общение — и одновременно подвергнут серьезным испытаниям представителей разных народов, не готовых к восприятию чужой национальной культуры. Сетевые платформы с поддержкой ИИ будут распространять свободное слово через границы, но хакерство и дезинформация станут искажать восприятие и оценку этих коммуникаций. В результате будет все сложнее достигать реализуемых соглашений с предсказуемыми результатами.

ИИ углубляет стратегический парадокс, который заключается в том, что человечество на протяжении 70 лет развивало ядерное оружие, но так и не разработало доктрину его применения, совместимого с какой-либо рациональной целью. Мы выделяем миллиарды на технологию настолько разрушительную, что мы не можем найти ей применение, не считая самых экстремальных сценариев. Если стратегия — это рациональное применение средств для достижения цели, то ядерное оружие несовместимо ни с какой стратегией.

Интеграция ИИ и кибероружия только усугубляет эту дилемму. Человечество ушло от решения ядерного парадокса, резко разграничив обычные силы, совместимые с рациональными стратегическими целями, и ядерное оружие. Ядерное оружие воплощало грубую силу, а обычные вооружения — избирательное применение силы. Но непредсказуемое и разрушительное кибероружие стирает этот барьер, а с внедрением ИИ оно становится еще более непредсказуемым и разрушительным. Оно может перемещаться по сетям, поэтому его нельзя обнаружить. Оно не поддается обычному контролю — в отличие от ядерного оружия, кибероружие можно носить на флеш-картах, — и легко тиражируется. Некоторые формы кибероружия после их развертывания трудно контролировать, особенно учитывая динамичную и эмерджентную природу ИИ.

Такая ситуация ставит под сомнение сами основы международного порядка, основанного на правилах. Мы обязаны разработать концепцию контроля ИИ-вооружений. Сдерживание в эпоху ИИ будет работать по-другому. На заре ядерной эры дискуссии между ведущими профессорами Калифорнийского технологического института, Гарвардского университета и Массачусетского технологического института, имевшими опыт работы в правительстве, привели к созданию концепции контроля над ядерными вооружениями. Несмотря на важность вопросов, эти обсуждения проводились отдельно от военных разработок министерства обороны США. Но потенциальное военное применение ИИ шире, чем у ядерного оружия, и на данный момент неочевидна дифференциация между наступлением и обороной.

В этом сложном и непредсказуемом мире ИИ создает еще один возможный источник заблуждений и ошибок, поэтому великим державам, обладающим высокотехнологичным потенциалом, придется вступить в диалог. Такой диалог должен быть сосредоточен на главном — на предотвращении катастрофы. Все стороны должны сделать все возможное для предотвращения войны. Это потребует взаимного признания перемен, которые переживает мир, их потенциальных выгод и вызовов, которые они бросают самим основам нашей общественной жизни. Таким образом, эволюция дипломатии, безопасности и стратегии должна будет сопровождаться аналогичной эволюцией философских концепций.

В период больших перемен философы эпохи Просвещения рассматривали природу реальности, природу сознания и взаимосвязь между ними. Разработанные ими принципы по-прежнему важны для нынешней эпохи, но начинающаяся эра ИИ бросает им вызов. Декарт провозгласил: «Я мыслю, следовательно, я существую», — это утверждение популярно и сегодня. Но затем Кант предположил, что восприятие человека отражает лишь структуру его разума, а не саму реальность — более того, сущность реальности находится за пределами нашего понимания. Нас ожидает следующая фаза этой философской эволюции, которая еще не нашла своего воплощения. Если ИИ обеспечивает иное или более точное восприятие реальности, дальнейшее исследование кантовской «вещи в себе», останется ли человеческий разум главным инструментом восприятия реальности? Если разум способствовал Реформации и изменил природу веры на Западе, то как изменит природу разума и веры приход ИИ? В эпоху, когда ИИ дополняет человеческий разум, или вытесняет его, или выходит за его пределы, как мы определим сферу применения, смысл существования и способ сохранения человеческого разума?

ИИ и другие развивающиеся технологии (такие как квантовые вычисления), похоже, приближают человека к познанию реальности, существующей за пределами нашего восприятия. Но в результате мы можем обнаружить, что даже эти технологии имеют свои пределы. Наша проблема заключается в том, что мы еще не знаем, какие последствия будет иметь внедрение этих технологий на фундаментальном философском уровне. Технологии продвигают нас вперед, но у нас нет полного осознания того, как это происходит, мы идем по пути прогресса в большой степени механически. Последний раз, когда человеческое сознание было значительно преобразовано, — в эпоху Просвещения — это произошло потому, что новая технология, а именно печатный станок, породила новые философские идеи, которые, в свою очередь, были растиражированы самой этой технологией. Сегодня мы уже разработали новые технологии, но у нас все еще нет соответствующей руководящей философии.

ИИ — это великое начинание. Его потенциальные преимущества огромны. Его разрабатывают люди — но сможем ли мы использовать его так, чтобы сделать нашу жизнь лучше, или же мы сделаем ее хуже? Скорее всего, произойдет и то и другое. ИИ позволит нам создать более сильные лекарства, более эффективное и справедливое здравоохранение, более устойчивую экологию и др. Вместе с тем он изменит концепцию истины, и некоторые люди утратят способность рассуждать и судить.

США, в отличие от ряда других стран, пока не сделали ИИ национальным проектом, и это должно быть исправлено. Вместе с другими странами, которые в состоянии возглавить разработку и внедрение ИИ, США должны сделать ИИ высшим национальным приоритетом. Этот процесс — процесс, который принесет большую пользу, — потребует участия людей с глубоким опытом работы в различных областях. Возможно, этим проектом должна руководить небольшая группа лидеров, пользующихся непререкаемым авторитетом, — от правительства, бизнеса и науки.

Такая группа или комиссия поможет стране и миру выработать понимание новой эпохи, технических, социальных, экономических и философских аспектов ИИ и их взаимосвязей. В случае США такая группа должна выполнять по крайней мере две функции:

1. В национальном контексте — обеспечение интеллектуальной и стратегической конкурентоспособности страны в области ИИ.
2. Осознание и повышение осведомленности о культурных (как национальных, так и глобальных) последствиях, которые порождает ИИ.

Кроме того, такая группа должна быть готова к взаимодействию с аналогичными группами других стран.

Мы находимся в самом разгаре великого начинания в масштабах цивилизации и нашего вида. Инициаторы крупнейших перемен в истории человечества обычно ставили целью решение тех или иных проблем, а не создание новой философии и перестройку всего человеческого бытия. Но теперь технологии, стратегии и философию нужно будет привести в некое соответствие, чтобы одно не опережало другое. Что необходимо сохранить в традиционном обществе, а чем нужно будет рискнуть, чтобы достичь превосходства? Как интегрировать ИИ с его эмерджентной, обучающейся природой в традиционные концепции общественных норм и международного равновесия? Учитывая, что у нас нет ни опыта, ни интуиции для ситуации, в которой мы оказались, какие еще вопросы нужно поставить?

И еще один вопрос — вопрос вопросов — относительно использования ИИ: может ли ИИ удовлетворить нашу потребность в познании мира, предложив нам иное, новое понимание мира? Готовы ли мы смириться с этим, продолжать сотрудничать с ИИ и двигаться вперед, не вполне понимая его?

Иммануил Кант открыл предисловие к своей «Критике чистого разума» следующим замечанием:

На долю человеческого разума в одном из видов его познания выпала странная судьба: его осаждают вопросы, от которых он не может уклониться, так как они навязаны ему его собственной природой; но в то же время он не может ответить на них, так как они превосходят возможности человеческого разума.

В последующие века человеческий разум глубоко изучал эти вопросы, и некоторые из них касались природы разума, мышления и самой реальности. Со времен мира Канта конца XVIII в. человечество решило ряд вопросов. Как он и предупреждал, мы столкнулись с массой новых вопросов, на которые не можем ответить, и фактов, которые не можем полностью объяснить.

Появление ИИ с его уникальными способностями к обучению и обработке информации может дать ответы на ряд нерешенных вопросов — и породит новые вопросы. Некоторые из них мы попытались изложить в этой книге. Человеческий интеллект и ИИ сегодня работают во всех сферах деятельности и в любых масштабах — от национальных до глобальных. Выработка связанной с этим руководящей концепции потребует полной вовлеченности и всех способностей ученых и стратегов, государственных деятелей и философов, священнослужителей и руководителей компаний. Это обязательство должно быть принято как внутри стран, так и между ними. Сейчас самое время определить как способы нашего партнерства с ИИ, так и реальность, которую мы создадим вместе с ним.