Когда я приехал в Давос, Швейцария, на Всемирный экономический форум в январе 2017 г., где ежегодно обсуждаются глобальные тенденции, все только и говорили об искусственном интеллекте. Не было такой технологической компании, которая не причисляла бы себя к разработчикам ИИ. В один из вечеров после ужина я как истинный уроженец северо-восточной части штата Висконсин, не боящийся снега и льда, решил пройти пешком весь трехкилометровый главный бульвар Давоса. Он больше смахивал на Лас-Вегас-Стрип, чем на улицу альпийской деревни. Помимо вывесок нескольких банков над лыжным городком доминировали светящиеся логотипы и яркие рекламные щиты технологических компаний, каждая из которых (в том числе и Microsoft) предлагала свою стратегию в сфере ИИ лидерам бизнеса, чиновникам из разных стран и авторитетным экспертам, приехавшим на неделю в Швейцарские Альпы. Это ясно говорило о двух вещах: о том, что ИИ был горячей новинкой, и о том, что технологические компании не жалели денег на рекламу.

В многочисленных дискуссиях шли разговоры о преимуществах ИИ, но никто даже не пытался объяснить, что такое ИИ или как он работает. Считалось, что всем присутствующим это уже известно. По своему опыту общения в Давосе я знал, что это не так, но люди, естественно, не хотели признаваться в этом и спрашивать об азах. Никто не желал первым признаться в том, что он (да и, скорее всего, половина присутствовавших) не вполне понимает, о чем ведет речь другая половина аудитории.

Помимо тумана, окружавшего ИИ, мне бросилось в глаза кое-что еще. Никто даже не заикался о том, нужно ли регулировать эту новую технологию.

Во время онлайн-конференции по ИИ под председательством Дэвида Киркпатрика из Techonomy меня спросили, считает ли Microsoft необходимым государственное регулирование ИИ. Я ответил, что лет через пять мы сами, вполне возможно, придем к этому и будем обсуждать предложения правительства по регулированию ИИ. Представитель IBM не согласился со мной и сказал: «Невозможно предсказать будущее. Я не знаю, сможем ли мы четко сформулировать политику. Меня беспокоит, что это будет иметь негативный эффект».

Неделя в Давосе высветила вопросы, которые занимали технологический сектор. Не все они были позитивными. Наша отрасль, как и большинство других, довольно часто выступает с инновациями, не заботясь о доходчивом разъяснении того, что они представляют собой и как работают. К этому с давних времен добавляется почти религиозная вера в то, что новая технология несет исключительно выгоды. Многие в Кремниевой долине всегда считали, что государственное регулирование не может поспеть за технологией.

Хотя такое идеалистическое представление о технологии нередко опирается на добрые намерения, оно совершенно не соответствует действительности. Даже лучшие технологии имеют непредвиденные последствия, а выгоды от них редко распределяются равномерно. Да и то, если их не используют во вред намеренно, что случается сплошь и рядом.

В 1700-х гг., вскоре после того, как Бен Франклин создал почтовую службу в Соединенных Штатах, преступники придумали способ мошенничества с письмами. В 1800-х гг., когда появились телеграф и телефон, преступники стали мошенничать с использованием этих средств связи. В XX в., как только появился интернет, каждому хоть немного знакомому с историей было очевидно, что рождение новых форм мошенничества неизбежно.

Положительной стороной технологического сектора было то, что он всегда смотрел вперед. Его отрицательная сторона заключалась в том, что слишком мало кто тратил время или просто брал на себя смелость, опираясь на знания о прошлом, предсказывать грядущие проблемы.

Не прошло и года со времени форума по ИИ в Давосе, как искусственный интеллект начал создавать более широкий набор проблем для общества. В центре внимания публики в связи с вопросом доверия к технологии раньше находились защита персональных данных и безопасность, теперь же главной причиной для беспокойства и центральной темой дискуссии стал ИИ.

Компьютеры начали обретать способность обучаться и принимать решения, причем все в большей мере без вмешательства человека. Однако как они приходят к этим решениям? Чем они руководствуются, принципами гуманизма? Или чем-то намного менее вдохновляющим? Становилось все более очевидно, что технологиям ИИ крайне необходимы четкие этические принципы, иначе они не смогут должным образом служить обществу.

У этого дня была долгая предыстория. Еще за несколько лет до того, как исследователи из Дартмутского колледжа организовали в 1956 г. летний исследовательский проект, посвященный перспективам обучения компьютеров — некоторые считают его началом академической дискуссии по ИИ, — Айзек Азимов изложил свои знаменитые «три закона робототехники» в коротком рассказе «Хоровод». Это была научная фантастика, речь в которой шла о попытке человечества сформулировать этические правила принятия решений для роботов с искусственным интеллектом. Как предельно ясно показано в фильме 2004 г. «Я, робот» с Уиллом Смитом в главной роли, такая попытка закончилась не слишком хорошо.

Работы над созданием ИИ ведутся с переменным успехом с конца 1950-х гг. со всплеском в течение короткого периода в середине 1980-х гг., который сопровождался рекламной шумихой, инвестициями, появлением стартапов и интересом СМИ к «экспертным системам». С чем же связан такой грандиозный выход ИИ на сцену в 2017 г., 60 лет спустя? Дело было вовсе не в случайном веянии. Этот процесс был отражением намного более широких тенденций и проблем, которые назревали уже давно.

В технологическом секторе нет какого-то одного общепринятого определения ИИ, каждый специалист предлагает свое видение и пытается отстаивать его. В 2016 г. я занимался новыми проблемами в сфере ИИ вместе с Дейвом Хейнером из Microsoft, который в то время работал с Эриком Хорвицом, долгое время возглавлявшим наши фундаментальные исследования в этой области. Когда я пристал к Дейву, он предложил определение, которое, на мой взгляд, очень хорошо объясняет суть ИИ: «ИИ — это компьютерная система, способная обучаться на опыте путем распознавания закономерностей в поступающих данных и, таким образом, принимать решения». Эрик дает более широкое определение: «ИИ — это изучение вычислительных механизмов, лежащих в основе мыслительного процесса и разумного поведения». Хотя для этого чаще всего нужны данные, опираться можно и на опыт, скажем, участия в играх, понимания естественных языков и т.д. Способность компьютера обучаться на данных и опыте и принимать решения — суть этих определений ИИ — опирается на две фундаментальные технические возможности: человеческое восприятие и человеческое познание.

Человеческое восприятие — это способность компьютеров воспринимать то, что происходит вокруг, так же, как это делает человек с помощью зрения и слуха. В определенном смысле машины имеют возможность «видеть» мир с момента появления фотоаппарата в 1830-х гг. Однако для понимания того, что изображено на снимке, всегда требовался человек. Точно так же, машины могут слышать с 1877 г., когда Томас Эдисон изобрел фонограф. Однако ни одна машина не могла понимать и воспроизводить речь с такой же точностью, как и человек.

Распознавание зрительных образов и речи давно входят в число заветных целей исследователей в сфере компьютерных наук. В 1995 г., когда Билл Гейтс создал исследовательское подразделение Microsoft Research, одной из первых целей возглавившего его Натана Мирволда было привлечение ведущих ученых в области распознавания образов и речи. Я помню, как в 1990-х гг. исследовательская команда Microsoft предсказывала, что компьютеры скоро будут понимать речь не хуже человека.

Оптимизм исследователей из Microsoft разделяли специалисты как из научных кругов, так и из технологического сектора. В реальности на распознавание речи и улучшение технологии потребовалось больше времени, чем предполагалось. Цель исследований в сфере распознавания образов и речи заключалась в достижении точности восприятия мира компьютерами, сопоставимой с точностью восприятия человека, которую 100%-ной назвать нельзя. Все мы ошибаемся, в том числе и в восприятии того, что нам говорят другие. Специалисты оценивают нашу точность понимания речи примерно в 96% — наш мозг заполняет пробелы так быстро, что мы не успеваем осознать это. Однако до тех пор, пока системы ИИ не достигнут такого уровня, мы больше будем пенять на ошибки компьютеров, а не восхищаться 90%-ной долей успешных попыток.

К 2000 г. компьютеры достигли 90%-ного порога в распознавании образов и речи, но дальнейшего прогресса не наблюдалось целое десятилетие. После 2010 г. процесс возобновился. Когда люди через сотню лет будут смотреть на историю XXI в., они, скорее всего, решат, что именно в это десятилетие, с 2010 по 2020 г., ИИ пришел в наш мир окончательно.

Три недавних технических достижения создали стартовую площадку для взлета ИИ. Во-первых, вычислительная мощность, наконец, достигла уровня, необходимого для выполнения массовых вычислений. Во-вторых, облачные вычисления сделали вычислительную мощность и хранилища доступными для людей и организаций, которым уже не нужны были значительные капиталовложения в аппаратные средства. И, наконец, взрывной рост объемов цифровых данных позволил создавать существенно более крупные наборы данных для обучения систем на основе ИИ. Без этих строительных блоков ИИ вряд ли смог бы развиваться так быстро.

Однако для того, чтобы специалисты по компьютерам и обработке данных смогли сделать ИИ эффективным, требовался четвертый базовый элемент. Он связан со второй и еще более фундаментальной технической возможностью — познанием, т.е. со способностью компьютера делать выводы и обучаться.

Оживленные споры о наилучшем техническом подходе к наделению компьютеров способностью думать шли многие десятилетия. Один подход опирался на то, что получило название «экспертных систем». Он был особенно популярным в конце 1970-х и в 1980-х гг. и предполагал сбор большого количества фактов и создание правил, которые компьютеры могли применять к цепочкам логических построений при принятии решений. Как заметил один из специалистов, этот подход на основе правил нельзя было масштабировать так, чтобы он соответствовал сложности проблем реального мира. «В сложных функциональных областях количество правил могло быть огромным, и с добавлением вручную новых фактов отслеживание исключений и взаимодействий с другими правилами становилось практически невозможным». Мы же в своей жизни в большинстве случаев делаем выводы не на основе правил, а на основе распознавания закономерностей, знакомых нам из опыта. Оглядываясь назад, видно, что подход, построенный на основе детальных правил, может понравиться разве что юристам.

После 1980-х гг. более перспективным стал считаться альтернативный подход к ИИ. Он предполагает использование статистических методов для распознавания закономерностей, предсказания и логических построений — это, фактически, построение систем на основе алгоритмов, обучающихся на основе данных. В последнее десятилетие прорывы в сфере компьютеров и обработки данных привели к широкому использованию так называемого глубинного обучения, или нейронных сетей. Мозг человека состоит из нейронов с синаптическими связями, которые обусловливают нашу способность распознавать закономерности в окружающем мире. Компьютерные нейронные сети содержат вычислительные узлы, называемые нейронами, которые связаны так, что системы ИИ могут делать выводы. По существу, глубинное обучение — это закачивание в компьютер огромного количества релевантных данных для его натаскивания на распознавание закономерности с использованием множества слоев искусственных нейронов. Такой процесс очень емок с точки зрения как вычислений, так и данных, именно поэтому для прогресса требовались достижения, о которых говорилось выше. Также нельзя было обойтись и без прорывов в методах обучения многослойных нейронных сетей, которые начали приносить плоды примерно десятилетие назад.

В сумме эти изменения привели к быстрому и впечатляющему развитию систем на основе ИИ. В 2016 г. команда Microsoft Research, работавшая над системой распознавания образов, добилась результатов, сравнимых с возможностями человека, при решении конкретной задачи по идентификации большого числа объектов в библиотеке ImageNet. Потом они сделали то же самое с распознаванием речи, добившись в стандартном тесте Switchboard 94,1%-ной точности. Иначе говоря, компьютеры начали воспринимать мир так же, как и люди. Тот же самый эффект был получен при переводе с одного языка на другой, что требует от компьютера понимания значения разных слов, в том числе неоднозначности и сленга.

Публика всполошилась, когда появились статьи, которые задавали вопрос, не захватят ли мир машины, если компьютеры с ИИ смогут самостоятельно мыслить и делать выводы со сверхчеловеческой скоростью. Такой уровень развития вычислительной техники компьютерщики называют суперинтеллектом, а некоторые — «сингулярностью». Когда мы задумались над таким вопросом в 2016 г., Дейв Хейнер заметил, что этой теме уделяют слишком много времени, скорее всего, для отвлечения внимания от более важных и неотложных вещей. «Все это из области научной фантастики и уводит нас от более актуальных проблем, которые начинает создавать ИИ», — сказал он.

Эти самые более актуальные проблемы всплыли в том же году на конференции, организованной Белым домом. Темой конференции была статья под заголовком «Предвзятость машины» (Machine Bias), опубликованная новостным ресурсом ProPublica. Подзаголовок статьи ясно говорил, что имеется в виду: «В нашей стране повсеместно используется программа, помогающая выявлять будущих преступников. И она настроена против чернокожих». ИИ все шире применяется для предсказания развития различных ситуаций, в связи с чем растут опасения, не слишком ли предвзято эти системы относятся к определенным группам населения, в частности к людям с другим цветом кожи.

Проблема предвзятости, описанная ресурсом ProPublica в 2016 г., была не надуманной. Она вытекала из двух реальных дел, с каждым из которых нужно было разбираться, если мы хотели, чтобы ИИ работал именно так, как ожидает от него общество. Прежде всего, проблема может объясняться работой с необъективными наборами данных. Например, набор данных по распознаванию лиц может содержать достаточно фотографий белых мужчин, чтобы с высокой точностью различать лица европеоидов. Но если в нем мало фотографий темнокожих женщин или мужчин, то в этой группе, скорее всего, будет наблюдаться более высокий уровень ошибок.

Именно это обнаружили два аспиранта в процессе работы над проектом Gender Shades. Исследователь из Массачусетского технологического института Джой Буоламвини, стипендиат Родса и поэтесса, и исследователь из Стэнфордского университета Тимнет Гебру взяли на себя задачу показать обществу необъективность ИИ на примере точности распознавания лиц в зависимости от пола и расовой принадлежности. Эти две женщины выявили более высокий уровень ошибок, в частности, при идентификации по лицам пола чернокожих политиков из Африки по сравнению с белыми политиками из северной Европы. Буоламвини, сама афроамериканка, обнаружила даже, что некоторые системы принимают ее за мужчину.

Работа Буоламвини и Гебру помогла высветить еще один аспект необъективности, который тоже необходимо учитывать. Очень трудно создать технологию, которая будет исправно служить обществу, не сформировав предварительно команду, отражающую многообразие мира. Как они обнаружили, более диверсифицированная группа исследователей и инженеров скорее признает и начинает работать над устранением проблем необъективности, которые могут коснуться их лично.

Если ИИ позволит компьютерам обучаться на опыте и принимать решения, то какой опыт, на наш взгляд, будет необходим им и какие решения мы будем готовы оставить на их усмотрение?

В конце 2015 г. Эрик Хорвиц из Microsoft привлек к этим вопросам внимание сообщества компьютерщиков. В опубликованной в одном из научных журналов статье он вместе с соавторами признал, что большинство специалистов по вычислительным системам рассматривает апокалиптические риски сингулярности как нечто довольно отдаленное и уделяет более серьезное внимание растущему набору других проблем. Сатья подхватил его знамя и на следующий год написал статью в интернет-издание Slate, где говорилось, что «спорить нужно о ценностях, которых придерживаются люди и организации, работающие над этой технологией». Он сформулировал ряд исходных ценностей, в число которых вошли защита персональных данных, прозрачность и подотчетность.

К концу 2017 г. стало понятно, что на самом деле речь идет о необходимости выработки всестороннего подхода к вопросам этики в сфере ИИ. Это было очень непростое предложение. Поскольку компьютеры получали способность принимать решения, раньше присущую только людям, практически все этические вопросы человечества переносились на мир вычислительных машин. Если тысячелетние споры философов не принесли нам ясных и универсальных ответов, то вряд ли стоило надеяться на достижение согласия просто потому, что нам нужно было применить их к компьютерам.

В 2018 г. компании вроде Microsoft и Google, находившиеся на переднем крае разработок в сфере ИИ, вплотную занялись решением новой проблемы. Вместе с экспертами из академических и других кругов мы признали, что нам нужен набор этических принципов, которыми можно руководствоваться при создании ИИ. В Microsoft в конечном итоге остановились на шести принципах.

Первый принцип призывал к обеспечению непредвзятости, т.е. к решению проблемы необъективности. Затем мы обращались к двум другим областям, где уже существовало определенное согласие общества, — важность надежности и безопасности и необходимость обеспечения защиты и сохранности персональных данных. В определенном смысле эти концепции уже были закреплены в законодательстве и регулировании в ответ на предыдущие технологические революции. Закон об ответственности за качество выпущенного продукта и другие акты установили стандарты надежности и безопасности в железнодорожном и автомобильном транспорте. Аналогичным образом появились нормы обеспечения защиты и сохранности персональных данных в ответ на технологические революции в сфере коммуникации и информации. Хотя ИИ привносил новые вызовы в эти сферы, мы вполне могли опираться на прежние правовые концепции.

Четвертый принцип касался проблемы, о которой наши сотрудники не переставали говорить с момента прихода Сатьи на место генерального директора в 2014 г. Это была необходимость создания всеобъемлющей технологии, удовлетворяющей потребности людей с ограниченными возможностями. Фокус компании на всеобъемлющей технологии естественным образом включал в себя ИИ. В конце концов, если компьютеры могут видеть, то можно представить, что они способны делать для слепых. А если компьютеры могут слышать, несложно догадаться, чем они могут стать для глухих. При этом не было особой необходимости изобретать что-то совершенно новое для создания соответствующих возможностей. Повсюду люди уже ходили со смартфонами, камеры которых могли видеть, а микрофоны — слышать. Со всеобъемлемостью в качестве четвертого этического принципа путь к прогрессу в этой области вполне просматривался.

Хотя эти четыре принципа были важны, мы понимали, что они повисают в воздухе без двух дополнительных базовых принципов. Один из них — это прозрачность. Для нас он означал публичность и понятность информации о том, как системы ИИ принимают важные решения. Если уж на то пошло, то разве может общество доверять ИИ, а регуляторы оценивать реализацию первых четырех принципов, если внутренние процессы ИИ будут недоступными для понимания?

Некоторые выступали за то, чтобы разработчики ИИ публиковали используемые алгоритмы, но, по нашему мнению, в большинстве случаев это было бы не слишком информативно, да к тому же раскрывало бы ноу-хау и, следовательно, подрывало конкуренцию в технологическом секторе. В партнерстве с учеными и другими технологическими компаниями мы уже работали над поиском более приемлемых подходов. Во главу угла ставилась задача сделать ИИ поддающимся объяснению, скажем, через описание ключевых элементов, которые используются при принятии решений.

Последний этический принцип ИИ — подотчетность — должен служить фундаментом для всего остального. Придет ли мир к будущему, в котором компьютеры останутся подотчетными людям, а люди, создающие эти машины, — подотчетными всем остальным? Это, пожалуй, один из определяющих вопросов для нашего поколения.

Последний принцип требует, чтобы люди оставались в контуре управления, а системы на основе ИИ не могли выйти за рамки дозволенного без ведома человека, без его присмотра и участия. Другими словами, решения на основе ИИ, существенно затрагивающие права человека, должны оставаться предметом рассмотрения и контроля со стороны человека. Для этого требуются люди, имеющие специальную подготовку для оценки решений, принимаемых ИИ.

Это также означает, по нашему убеждению, необходимость более широких процессов управления. Каждой организации, разрабатывающей или использующей ИИ, нужны новая политика, процессы, программы обучения, системы внутреннего контроля и люди, способные осуществлять анализ и давать рекомендации по совершенствованию и применению систем ИИ.

Мы опубликовали свои принципы в январе 2018 г. и быстро поняли, что попали в точку. Клиенты запрашивали информацию не только о нашей технологии ИИ, но и о подходе к вопросам этики и практике в этой сфере. Это было вполне объяснимо. Общая стратегия компании предполагала «демократизацию ИИ» через предоставление доступа к строительным блокам технологии — например, к инструментам для распознавания образов и речи, машинному обучению — с тем, чтобы клиенты могли создавать собственные индивидуализированные сервисы на основе ИИ. А все это требовало выработки продуманного подхода к этике ИИ и его широкого распространения.

Распространение ИИ также означало, что определенное регулирование технологии не просто желательно, а принципиально важно. Всеобщее понимание принципов этики в сфере ИИ способно стимулировать этичное поведение сознательных людей. Но можно ли сказать то же самое о людях, не слишком склонных руководствоваться моральными соображениями? Единственная возможность обеспечить работу всех систем ИИ в соответствии с определенными нормами этики — это сделать такие нормы обязательными. Иначе говоря, за принятыми обществом нормами этики должен стоять закон и регулирование.

Становилось очевидно, что регулирование должно появиться не через пять лет, как я предсказывал в Давосе в прошлом году, а раньше. Мы почувствовали это в апреле 2018 г. в Сингапуре, где встречались с представителями правительств, отвечавшими за вопросы ИИ. «Эти вопросы не могут ждать. Нам нужно быть впереди технологии, — говорили они. — Мы хотим опубликовать первые предложения не через несколько лет, а через несколько месяцев».

Общий разговор об этической стороне ИИ неизбежно сводится к более конкретным темам. Скорее всего, именно по ним и будут вестись споры в дальнейшем. Хотя невозможно в точности предсказать, что конкретно будет обсуждаться через 5 или 10 лет, по тем проблемам, которые уже проявились, вполне можно сделать кое-какие выводы.

В 2018 г. одно из первых противоречий было связано с перспективой использования ИИ в системах вооружений. В публичных дебатах стали использовать понятие «роботы-убийцы», которое навевало образы из научной фантастики. Впрочем, такое представление было вполне понятным, если вспомнить о пятисерийной киноэпопее «Терминатор», продолжения которой выходили каждое десятилетие с момента появления на экранах первого фильма в 1984 г. Другими словами, и подростки, и представители старшего поколения с большой вероятностью видели опасности автономного оружия на широком экране.

Первое, на что указали эти дебаты, это на необходимость выработки более детального понимания, или классификации типов используемых технологий. Когда я разговаривал с военными деятелями в разных концах света, все они сходились в одном: никто не хочет обнаружить в одно прекрасное утро, что машины начали войну, пока все спали. Принятие решений, касающихся войны и мира, должно оставаться за людьми.

Это, однако, не означало, что военные деятели со всего света были единого мнения обо всем остальном. Именно здесь в картине появляются различия. Пол Скарре, бывший представитель Министерства обороны США, поднимает очень актуальные вопросы в своей книге «Армия без людей: автономное оружие и будущее войны» (Army of None: Autonomous Weapons and the Future of War). По его мнению, центральный вопрос заключается не в том, когда, а в том, как компьютеры должны получать право на использование оружия без контроля со стороны человека. С одной стороны, способность дрона с машинным зрением и распознаванием лиц лучше человека идентифицировать террориста на земле не означает, что военные должны исключить людей и здравый смысл из контура управления. С другой стороны, когда десятки ракет летят в направлении эскадры, противоракетная система Aegis должна полностью полагаться на решения, принимаемые компьютером. Но даже в этом случае один сценарий не похож на другой, и использование системы вооружения зависит от конкретных условий. За человеком должно оставаться первоначальное решение о пуске, а разбираться с каждой отдельно взятой целью у людей возможности нет.

С учетом потенциальных опасений в отношении автономного оружия некоторые настаивают на полном отказе технологических компаний от сотрудничества с военными в создании технологий на базе ИИ. Google, например, разорвала контракт с Пентагоном на разработку ИИ после того, как ее сотрудники выступили против этого. Перед Microsoft тоже возник этот вопрос, когда наши сотрудники стали высказывать аналогичные опасения. Мы с давних пор работаем с военными из США и других стран, этот факт особо отмечался во время моего посещения несколько лет назад авианосца Nimitz в порту его базирования в Эверетте, штат Вашингтон, немного к северу от Сиэтла. Различными функциями на авианосце управляли более 4000 компьютеров, в которых использовалась операционная система Windows Server.

Однако многие по вполне понятным причинам относили системы на основе ИИ к технологии совсем другого типа. Мы хорошо понимали, что новая технология приводит к появлению нового поколения сложных проблем, и, когда рассматривали потенциальные контракты на поставку технологии дополненной реальности и наших гарнитур HoloLens для солдат армии США, всесторонне обсуждали, как нам поступить.

В отличие от Google мы сочли важным продолжение поставки наших лучших продуктов вооруженным силам США и других стран-союзниц, в которых демократические процессы и приверженность соблюдению прав человека не вызывали сомнения. Обороноспособность Америки и НАТО давно зависит от доступа к новейшим технологиям. Мы не раз заявляли и в частных разговорах, и публично, что «верим в надежность обороны Соединенных Штатов и хотим, чтобы люди, обеспечивающие ее, имели доступ к самым передовым технологиям, в том числе и принадлежащим Microsoft».

В то же время мы понимали, что у определенной части наших сотрудников работа, выполняемая для американских и других военных организаций, вызывает беспокойство. Некоторые из них были гражданами других стран, кто-то придерживался других этических принципов или принадлежал к лагерю пацифистов, а кто-то просто хотел заниматься другими применениями технологий. Мы с уважением относились к их взглядам и старались предлагать им работу над другими проектами. С учетом размеров Microsoft и разнообразия портфеля разработок особых сложностей с удовлетворением таких запросов у нас не возникало.

Однако ничего из этого не освобождало нас от необходимости обдумывания и участия в решении сложных этических вопросов, возникающих при соединении искусственного интеллекта с оружием. Когда разговор на эту тему зашел на уровне руководителей высшего звена, я заметил, что этическая сторона разработки вооружений не теряет своей важности с 1800-х гг., когда на поле боя появились экспансивные пули, а потом динамит. Сатья возразил, что на самом деле корни этических аспектов войны восходят к трактатам Цицерона. Вечером того же дня он прислал мне электронное письмо, где говорил, что его мать не одобрила ссылку на трактаты Цицерона, поскольку существует еще более древнее индийское сказание «Махабхарата». (К счастью, Сатья включил в письмо ссылку на статью о сказании в «Википедии», и я смог узнать о ней больше.)

В результате мы пришли к выводу, что нам, как социально ответственной компании, нельзя оставаться в стороне от обсуждения вопросов этики. Наше участие в обсуждении могло помочь в формировании новой публичной политики. Мы объясняли своим сотрудникам, что ни одна технологическая компания не занимается активнее нас вопросами политики, связанными с новой технологией, особенно вопросами слежки со стороны государства и кибероружия. Кроме этого мы активно выступали за ответственную политику и законодательное регулирование сферы ИИ и его военного применения.

Засучив рукава, мы занялись изучением проблем и выработкой более четких представлений. Это вернуло нас к шести этическим принципам, но уже применительно к ИИ и оружию. На наш взгляд, три из них имели особое значение — надежность и безопасность, прозрачность, а главное, подотчетность. Только соблюдение этих трех принципов могло дать обществу уверенность в том, что при реализации ИИ человек останется в контуре управления.

Все это перекликалось с вопросами, которыми мы занимались в контексте безопасности и кибератак со стороны других государств. В этой сфере уже есть ряд национальных и международных правил, которые применимы к новым формам технологии, в частности к автономным системам летального вооружения.

Многие другие аспекты также пересекались с вопросами безопасности, связанными с кибероружием. Генеральный секретарь ООН Антониу Гутерриш прямо призвал в 2018 г. запретить «роботов-убийц». «Давайте называть вещи своими именами: перспектива появления машин, способных по своему усмотрению отнимать у людей жизнь, морально отвратительна», — сказал он. Однако, как и в случае кибероружия, ведущие военные державы сопротивляются принятию новых международных правил, ограничивающих совершенствование технологии.

Это подводит к дискуссии о конкретных сценариях, лежащих в основе потенциальных опасений, в надежде выйти из тупика. Human Rights Watch, например, призывает государства «запретить системы вооружений, которые могут выбирать и атаковать цели без действенного контроля со стороны людей». Хотя в дальнейшем наверняка появятся дополнительные нюансы, требующие проработки, такой вид международной правозащитной деятельности с акцентом на конкретных терминах вроде «действенного контроля со стороны людей» является важным элементом того, что необходимо миру для решения этических проблем нового поколения.

Важно то, что такая работа опирается на существующие традиции в сфере морали и прав человека. Меня всегда поражала глубокая сфокусированность американских военных на этической стороне принимаемых решений. Это не избавляет вооруженные силы от этических провалов, а иногда и от огромных ошибок, однако, насколько я знаю от разных людей, от генералов до курсантов военной академии Вест-Пойнт, никто не выходит из стен американских военных училищ, не прослушав курс этики. Такого, увы, нельзя пока сказать о выпускниках факультетов компьютерных наук во многих американских университетах.

В процессе обсуждения таких вопросов с ведущими специалистами в других странах выяснилось, что этические взгляды в конечном итоге опираются на права человека и более широкий философский фундамент. Именно поэтому принципиально важно при обсуждении таких тем учитывать разнообразие культур и обусловленные этим разнообразием особенности подходов к законодательству и регулированию.

Искусственный интеллект, как и все информационные технологии, глобален по своему характеру. Специалисты, которые разрабатывают его, хотят, чтобы он везде работал одинаково. Однако законодательство и регулирование меняется от страны к стране, что создает проблемы не только дипломатам, но и разработчикам ИИ. В нашей практике мы не раз сталкивались с такими различиями — сначала в законах об интеллектуальной собственности, потом в правилах конкуренции, а в последнее время в регулировании, касающемся защиты персональных данных. Вместе с тем в некоторых отношениях эти различия — ерунда по сравнению с потенциальной сложностью законов, связанных с моральными аспектами, корни которых уходят в философию.

В наши дни искусственный интеллект, как ни одна технология раньше, заставляет мир заниматься сходными чертами и различиями этих и других философских традиций. Вопросы, поднимаемые в связи с ИИ, затрагивают такие темы, как роль персональной ответственности, важность прозрачности для общества, концепция защиты персональных данных и понятие фундаментальной непредвзятости. Может ли мир прийти к единому подходу к этике для компьютеров, когда ему не удается добиться согласия по философским вопросам для людей? Это фундаментальный вопрос будущего.

Такой вопрос больше, чем в прошлом, потребует от тех, кто создает технологии, исходить не только из дисциплин вроде науки о компьютерах и обработке данных, но и из общественных и естественных наук, а также гуманизма. Если мы хотим, чтобы искусственный интеллект принимал решения на основе лучшей практики человечества, то его разработка должна представлять собой мультидисциплинарный процесс. Когда мы думаем о будущем высшего образования, нам нужно заботиться о том, чтобы каждый специалист по компьютерам и обработке данных был знаком со свободными искусствами, а каждый специализирующийся в свободных искусствах в определенной мере знакомился с наукой о компьютерах и обработке данных.

Нам также нужно уделять больше внимания этике при изучении наук о компьютерах и обработке данных. Возможно, стоит организовать специальный курс или, как вариант, встроить элементы этики во все курсы.

Есть надежда, что новое поколение студентов воспримет это начинание с энтузиазмом. В начале 2018 г. мы с Гарри Шумом, вице-президентом Microsoft, отвечающим за значительную часть нашей работы в сфере ИИ, подняли этот вопрос публично: «Можно ли ввести для программистов нечто вроде клятвы Гиппократа, которую приносят врачи?» Многие согласились с тем, что такая клятва вполне разумна. Через несколько недель один из профессоров по компьютерным наукам из Вашингтонского университета попробовал отредактировать традиционную клятву Гиппократа и сделать ее подходящей для тех, кто работает над созданием искусственного интеллекта. Судя по нашим встречам со студентами в колледжах по всему миру, эта идея находит отклик у представителей следующего поколения.

В конечном итоге глобальный разговор об этических принципах для искусственного интеллекта потребует еще более широкой аудитории. За столом переговоров должны сидеть не только разработчики, государственные деятели, представители неправительственных организаций и преподаватели, но и философы и представители мировых религий.

Именно необходимость глобального разговора привела нас в одно из мест, которое, по моим представлениям, меньше все подходило для обсуждения технологий, — Ватикан.

В этом визите была своя ирония. Мы остановились в Риме в феврале 2019 г. на несколько дней, прежде чем отправиться в Германию на ежегодную Мюнхенскую конференцию по безопасности, где собираются военные деятели со всего мира. У нас был запланирован разговор об этике в сфере компьютеров с руководством Ватикана всего за неделю до того, как оно само собиралось обсуждать вопросы этики и сексуального насилия над детьми в церквях. Такое совпадение подчеркивало чаяния и проблемы, стоящие перед человечеством.

В Ватикане нас встречал сияющий монсеньор Винченцо Палья, седовласый общительный архиепископ итальянской Католической церкви. Автор многочисленных книг, он возглавлял в Ватикане работу, посвященную вопросам этики, в том числе и новым проблемам, связанным с искусственным интеллектом. Microsoft и Ватикан решили совместно учредить премию за лучшую докторскую диссертацию в сфере исследования точек пересечения новейшей технологии и вечных вопросов этики.

В тот день мы увидели реальные свидетельства исторических пересечений науки и техники, с одной стороны, с философией и религией — с другой. Монсеньор Палья проводил нас в Ватиканскую апостольскую библиотеку, где, соблюдая все предосторожности, мы смогли полистать одну из первых Библий, напечатанную Иоганном Гутенбергом на изобретенном им в 1450-х гг. станке с металлическими литерами. Это техническое достижение революционизировало коммуникации и оказало влияние на все стороны жизни европейского общества, включая Церковь.

Затем мы обратились к собранию писем, написанных через 150 лет после этого. Там находилась переписка Галилея с Папой Римским, занимавшая ключевое место в споре между ним и Церковью в отношении места Земли и Солнца на небесном своде. Как было видно из этого собрания, Галилео в начале 1600-х гг. наблюдал в телескоп за движением пятен на Солнце, что указывало на вращение Солнца. В результате ожесточенного спора вокруг интерпретации Библии Галилео предстал перед судом инквизиции в Риме и оставался под домашним арестом до самой кончины.

Вместе две эти книги наглядно показывают, как наука и техника могут пересекаться с вопросами веры, религии и философии. Глядя на такие изобретения, как печатный станок и телескоп, невозможно ожидать, что ИИ не затронет эти сферы. Вопрос заключался в том, как создать условия для содержательного, уважительного и всестороннего глобального разговора.

Именно это и было предметом обсуждения на встрече с папой Франциском и монсеньором Палья. Мы говорили о развитии технологии в условиях, когда страны все более замыкаются в себе, а иногда вообще поворачиваются спиной к своим соседям и нуждающимся. Я упомянул о том, как Альберт Эйнштейн осмелился высказаться об опасностях развития техники в 1930-х гг. А папа напомнил слова Эйнштейна после окончания Второй мировой войны: «Я не знаю, какое оружие будет использоваться в Третьей мировой войне, однако во время Четвертой мировой войны воевать будут палками и камнями». Этим Эйнштейн подчеркивал, что технология, особенно ядерная, дошла до такой точки, когда она может уничтожить все остальное.

Когда мы уходили, папа Франциск протянул мне правую руку, а левой взял меня за запястье. «Не теряйте своего гуманизма», — сказал он.

Когда мы задумываемся о будущем искусственного интеллекта, нам всем следует помнить этот совет.