В июне 2002 г. Стивен Спилберг представил новый фильм «Особое мнение», снятый по мотивам рассказа 1956 г. известного фантаста Филипа Дика. По сюжету дело происходит в 2054 г. в Вашингтоне, где уровень преступности снижен до нуля. Главную роль в фильме исполняет Том Круз — он играет начальника Precrime, элитного подразделения полиции, которое арестовывает убийц до того, как они совершают преступление. Этому подразделению разрешено арестовывать людей на основе видений трех экстрасенсов, которые предвидят будущее. Но вскоре Крузу приходится скрываться от собственного подразделения в условиях тотальной слежки, когда один из медиумов предсказывает, что он сам вот-вот совершит убийство.

Через 15 с лишним лет такая картина обеспечения правопорядка все еще казалась далекой от жизни. Однако сегодня похоже, что один из аспектов «Особого мнения» станет реальностью намного раньше 2054 г. Находясь в бегах, Круз заходит в магазин Gap. Там действует технология, которая распознает каждого входящего покупателя и сразу начинает демонстрировать на экране одежду, которая предположительно должна понравиться ему. Одним такой уровень обслуживания может понравиться. Другим он может показаться навязчивым и даже неприятным. Короче говоря, посещение магазина начинает напоминать просмотр веб-страниц, после которого социальные сети подсовывают новую рекламу того, чем вы только что интересовались.

В «Особом мнении» Спилберг просил зрителей задуматься о том, что последствия у применения технологий двоякие — с одной стороны, она позволяет предотвращать преступления до того, как они будут осуществлены, а с другой — приводит к нарушению прав людей, когда что-то идет не так. Система, которая опознает Круза в магазине Gap, получает информацию из чипа, вживленного в его тело. Однако технический прогресс в первые два десятилетия XXI в. превосходит даже воображение Спилберга, поскольку в наши дни чипы уже не требуются. Технология распознавания лиц, опирающаяся на машинное зрение, данные в облаке и ИИ, позволяет идентифицировать покупателей на основе их визита в магазин на прошлой неделе или даже час назад. Она открывает для технологического сектора и правительств одну из первых возможностей ясно и однозначно определиться с подходами к вопросам этики и прав человека в сфере ИИ, приняв решение о том, как следует регулировать распознавание лиц.

То, что начиналось для большинства людей с довольно простых вещей вроде доступа к каталогам и поиску фотографий, быстро стало значительно более сложным. Уже сейчас многие полагаются на распознавание лиц, а не на пароль при разблокировании iPhone или ноутбука на Windows. И прогресс на этом не останавливается.

Компьютер умеет сейчас делать то, что все мы, как люди, делаем почти с рождения — распознавать лица людей. Для большинства из нас это, скорее всего, начинается с узнавания матери. Одна из прелестей материнства — это видеть, как ребенок радуется вашему приходу. Такая реакция, проявляющаяся до начала подросткового возраста, связана с нашей внутренней способностью распознавать лица людей. Хотя эта способность принципиально важна для повседневной жизни, мы практически не задумываемся о том, что делает ее возможной.

На самом деле наши лица так же уникальны, как и отпечатки пальцев. В число характерных черт входят расстояние между зрачками, размер носа, профиль улыбки и овал лица. Когда компьютеры используют фотографии для выделения этих черт и сведения их воедино, они создают основу для математического выражения, которое можно оценивать с помощью алгоритмов.

По всему миру эту технологию внедряют с тем, чтобы сделать нашу жизнь лучше. В некоторых случаях на нее смотрят, как на удобство для потребителей. Национальный банк Австралии разрабатывает на основе технологии распознавания лиц Microsoft систему, позволяющую безопасно снимать деньги в банкомате без предъявления пластиковой карты. Банкомат распознает лицо клиента, после чего можно ввести PIN-код и выполнить операцию.

В других случаях выгоды от этой технологии более существенны. Например, в Национальном научно-исследовательском институте генома человека в Вашингтоне распознавание лиц помогает врачам диагностировать так называемый синдром Ди Джорджи, или синдром делеции хромосомы 22q11.2. Это заболевание чаще всего поражает жителей Африки, Азии и Латинской Америки. Оно может вызывать ряд серьезных проблем со здоровьем, включая нарушение функций сердца и почек. При этом его нередко можно диагностировать с помощью компьютерных систем по незначительным изменениям черт лица.

Описанные сценарии показывают, как именно распознавание лиц может использоваться с пользой для общества. Это — новый инструмент XXI в.

Как и многие другие инструменты, впрочем, его можно также превратить в оружие. Правительство может использовать распознавание лиц для идентификации тех, кто участвует в мирном митинге, а потом преследовать их и, таким образом, подавлять свободу слова и собраний. Даже в демократическом обществе полиция может чрезмерно полагаться на этот инструмент при идентификации подозреваемых, забывая о том, что распознавание лиц, как и любая другая технология, не всегда работает идеально.

По этим причинам распознавание лиц тесно переплетается с более широкими политическими и социальными аспектами и вызывает принципиально важный вопрос: какую роль, с нашей точки зрения, эта форма искусственного интеллекта должна играть в обществе?

Некоторое представление о том, что нас ждет, мы неожиданно получили летом 2018 г. в связи с одной из самых злободневных политических тем того сезона. В июне один из жителей Вирджинии, называвший себя «свободным разработчиком софта», вдруг сильно заинтересовался более широкими политическими вопросами. Он опубликовал ряд твитов о контракте Microsoft с Бюро иммиграционного и таможенного контроля США (ICE), основываясь на истории, которая была опубликована в маркетинговом блоге компании в январе. Честно говоря, об этом посте в компании давно забыли. В нем говорилось о том, что технология Microsoft, созданная для ICE, отвечает высоким требованиям по безопасности и принята для внедрения. Кроме того, отмечалось, что компания гордится своим сотрудничеством с бюро, перед которым теперь открывается возможность использовать технологию распознавания лиц.

В июне 2018 г. решение администрации Трампа о разлучении детей и родителей на южной границе США стало взрывной темой. На этом фоне сделанное несколько месяцев назад маркетинговое заявление, а вместе с ним и использование технологии распознавания лиц, приобрело совсем другой смысл. Людей волновало, чем может обернуться использование такой вещи, как распознавание лиц, в работе ICE и других иммиграционных ведомств. Не приведет ли это к тому, что камеры, связанные с облаком, будут идентифицировать иммигрантов на улицах городов? Не будет ли это, учитывая нынешний уровень данной технологии с присущим ему риском ошибки, приводить к задержаниям совсем не тех, кого нужно?

К обеду в Сиэтле твиты о маркетинговом блоге заполонили интернет, и наша команда по связям с общественностью в срочном порядке занялась выработкой ответа. Некоторые представители разработчиков и маркетинговой службы считали, что нам следует просто удалить пост и сказать: «Эта информация устарела и больше не имеет отношения к делу».

Фрэнк Шоу, руководитель службы Microsoft по коммуникациям, три раза просил их не удалять сообщение. «Это лишь осложнит ситуацию», — говорил он. Кто-то все же не удержался и частично удалил пост. Как и следовало ожидать, это спровоцировало новый раунд негативных отзывов. К следующему утру все извлекли очевидный урок, и пост был восстановлен в первоначальном виде.

Как это нередко случается, нам пришлось разбираться с тем, что же на самом деле предусматривал контракт компании с ICE.

Когда мы добрались до его сути, выяснилось, что в контракте не было ни слова об использовании технологии распознавания лиц. Microsoft, слава богу, не имела никакого отношения к проектам по разлучению детей с их семьями на границе. Контракт касался оказания ICE помощи в перемещении электронной почты, календарных графиков, рассылок и документооборота в облако. Он ничем не отличался от проектов, над которыми мы работали с другими клиентами, включая государственные ведомства, в Соединенных Штатах и по всему миру.

Так или иначе, возник новый спор.

Некоторые предлагали вообще аннулировать этот контракт и свернуть все работы с ICE — тема использования правительством технологий захватила многих тем летом. Появилась даже группа сотрудников, которая разослала петицию за приостановку контракта с ICE. Этот вопрос даже начал будоражить технологический сектор в целом. Аналогичную активность стали проявлять работники Salesforce, разработчика облачных систем, в связи с его контрактом с Таможенно-пограничной службой США. За ними последовали работники Google, заставившие компанию отказаться от проекта по разработке искусственного интеллекта для военного ведомства США. А Американский союз гражданских свобод нацелился на Amazon, поддержав ее работников, которые высказывали опасения в отношении Recognition, сервиса компании по распознаванию лиц.

Для технологического сектора и делового сообщества в целом такая активность работников была в новинку. Некоторые усматривали в ней нечто похожее на деятельность профсоюзов, которые более столетия существовали в некоторых отраслях. Однако профсоюзы уделяли внимание главным образом экономике и условиям работы своих членов. Активность работников летом 2018 г. выглядела иначе. Это был призыв занять позицию по конкретным общественным проблемам. Работники не получали от этого ни прямой, ни косвенной выгоды. Они хотели, чтобы работодатели выступили в защиту важных, на их взгляд, общественных ценностей и позиций.

С нашей точки зрения, было очень полезно посмотреть, как на эту новую волну активности работников реагируют другие. Всего в нескольких километрах от Сиэтла руководители Amazon, похоже, не особенно старались вступать в прямое обсуждение подобных вопросов с работниками. Такая реакция охладила интерес работников к дебатам, фактически заставив их замолчать и заняться делом. В Кремниевой долине руководство Google выбрало прямо противоположный подход и стало в ответ на жалобы работников порою очень быстро изменять свой курс, включая разрыв контракта по ИИ с военным ведомством. Довольно скоро выяснилось, что единого подхода в отрасли нет, и каждой компании нужно исходить из собственной культуры и того, что она хочет с точки зрения отношений с работниками. Опираясь на нашу культуру, мы решили выбрать нечто среднее по сравнению с тем, что делали другие.

Эти эпизоды высветили ряд важных обстоятельств. Важнее всего, пожалуй, был рост ожиданий работников в отношении работодателей. Это стало ясно еще несколько месяцев назад, когда изменение зафиксировало коммуникационное агентство Edelman в своем ежегодном аналитическом докладе «Барометр доверия». Edelman в своем «Барометре доверия», который издается с 2001 г., отмечает изменения в настроениях масс по всему миру, отслеживая колебания доверия людей к разным институтам. Доклад, вышедший в свет в начале 2018 г., показывал, что на фоне резкого падения доверия ко многим государственным и общественным институтам доверие работников к работодателям остается высоким. По его данным 72% людей в мире верили, что их работодатели «делают то, что должны делать», а в Соединенных Штатах уровень доверия был еще выше — 79%. В отличие от этого лишь одна треть американцев чувствовала то же самое в отношении правительства.

То, с чем столкнулись мы, подтверждало эту точку зрения и даже развивало ее. В технологическом секторе некоторые работники хотели играть активную роль в формировании решений, принимаемых компаниями, и определении их позиции по проблемам дня. Наверное, вряд ли стоит удивляться тому, что такое стремление проявляется сильнее во времена, когда доверие к правительству снижается. Работники начинают искать другой институт, который, на их взгляд, может делать правильные вещи и оказывать определенное влияние на ситуацию в обществе.

В результате такого изменения бизнес-лидеры оказывались на неизведанной для них территории. Во время обеда в узком кругу в Сиэтле генеральный директор одной технологической компании так обобщил общую тревогу. «Я всегда был готов справиться со всем, что касается моей работы, — сказал он, рассказывая о своей карьере. — А тут меня занесло в совершенно другую сферу. Мне совершенно не ясно, как реагировать на запросы работников, которые хотят, чтобы я разделял их обеспокоенность из-за вопросов иммиграции, изменения климата и других проблем».

Не стоит удивляться и тому, что это явление больше всего связано с самым молодым поколением работников. В конце концов, студенты с давних времен шумно митингуют в кампусах колледжей, призывая к социальным изменениям и временами заставляя университеты отступать от своей политики и подавать пример. Было лето, и в кампусе Microsoft работало порядка 3000 стажеров. Понятное дело, их очень интересовала возникшая проблема. Некоторым из них хотелось напрямую влиять на позицию компании, хотя они и пришли к нам всего лишь на летний период.

Речь шла о том, как подходить к теме и реагировать на нее. Пока мы с Сатьей сравнивали свои заметки, я рассуждал о том, что вынес из своей работы в совете попечителей Принстонского университета. «На мой взгляд, управление технологической компанией становится все больше похожим на управление университетом, — сказал я. — У нас полно исследователей с докторскими степенями — это факультет. У нас есть стажеры и молодые работники, взгляды которых сродни взглядам студентов. Каждый хочет быть услышанным, а некоторые ждут от нас бойкота государственного ведомства во многом подобно тому, как они ждут от университета отказа от покупки акций компании, замеченной в чем-то предосудительном».

Из моего опыта работы в попечительском совете вытекали два ключевых момента. Пожалуй, самым важным из них было то, что у действующих из лучших побуждений студентов не обязательно имелись правильные ответы, но они могли задавать правильные вопросы. А эти вопросы могли указать на более правильный путь, который ускользнул от экспертов и руководителей. Как я люблю повторять своим командам в компании, сырую идею нередко лучше не отбрасывать, а дать возможность довести ее до готовности. Некоторые из наших лучших инициатив родились именно таким образом. Этот подход опирается на культуру роста и непрерывного обучения, которую Сатья заботливо взращивал в Microsoft. Короче говоря, если наступает новая эра активности работников, то нам нужно искать новые пути взаимодействия с персоналом, стараться понять его заботы и выработать содержательный ответ.

Принстонский опыт также говорил мне, что у университетов уже есть адекватные процессы удовлетворения такой потребности. Они предоставляют всем возможность внести свой вклад и вести коллективную дискуссию. Это позволяет рациональным аргументам отодвинуть эмоции на второй план, дает время для обдумывания правильного ответа и совместного принятия трудного решения. Мы выбрали именно такой путь, а Эрик Хорвиц, Фрэнк Шоу и Рич Сойер, наш старший юрисконсульт, отвечающий за этическую сторону ИИ, взялись за организацию серии круглых столов с участием работников.

Становилось все очевиднее, настало время прямо сказать, когда, на наш взгляд, компании стоит занимать позицию по вопросу общественной значимости, а когда не стоит. Мы не считали, что лидерство в мире бизнеса дает право на использование имени компании во всех вопросах без разбора. Проблема должна была иметь жизненно важное отношение к нам. Мы считали своей принципиальной обязанностью заниматься теми вопросами общественной значимости, которые затрагивали наших клиентов в связи с использованием нашей технологии, наших сотрудников на работе и в обычной жизни, а также наш бизнес и потребности наших акционеров и партнеров. Такой подход давал ответы не на все вопросы, однако служил основой для разговора с нашими работниками.

Вопросы, которые ставили работники, также заставили нас более глубоко обдумать взаимоотношения с правительством и проблемы, создаваемые новыми технологиями вроде технологии распознавания лиц.

Так или иначе, нас не очень устраивало предложение объявить бойкот правительственным агентствам в ответ на текущие события, особенно в демократическом обществе с его верховенством закона. В какой-то мере это было бы чересчур. Я всегда старался напоминать другим, что мы не являемся выборным органом. Это не просто странно, а недемократично требовать, чтобы технологические компании следили за правительством. В принципе более разумно было бы просить избранное правительство регулировать компании, а не требовать от невыборных компаний регулирования правительства. Мы с Сатьей часто обсуждали этот вопрос и считали его важным.

Здесь присутствовал и прагматический аспект. Мы ясно сознавали огромную зависимость организаций и людей от нашей технологии. Простое отключение доступа к этой технологии на основании нашего несогласия с действиями того или иного правительственного агентства могло запросто привести к хаосу и непредвиденным последствиям.

Этот аспект неожиданно получил безоговорочное решение в августе 2018 г. По пути на работу утром в пятницу я слушал по радио подкаст The Daily газеты The New York Times, который напрямую касался проблемы. Темой выпуска была неспособность правительства в срок, установленный судом, обеспечить воссоединение детей иммигрантов со своими семьями. В передаче участвовала Уэнди Янг, возглавлявшая общественную организацию «Дети, нуждающиеся в защите», где я председательствовал более десятилетия. Как объясняла Уэнди, администрация реализовала первоначальную политику разъединения семей, «не подумав о том, как эти семьи воссоединять» позднее.

Хотя я был знаком с ситуацией по рассказам Уэнди, меня поразила дополнительная деталь, раскрытая журналистами The New York Times Кейтлин Дикерсон и Энни Корреал. Они объяснили, что сотрудники Бюро таможенного и пограничного контроля пользуются компьютерной системой с ниспадающим меню, когда люди впервые пересекают границу. Им нужно отнести человека к одной из категорий — несовершеннолетний без сопровождающих лиц, одинокий взрослый или взрослый с детьми, т.е. семья. Когда детей впоследствии разлучают с родителями, компьютерная система вынуждает сотрудников возвращаться к базе данных и изменять записи, например относить ребенка к категории несовершеннолетних без сопровождающих лиц, а родителя — к категории одиноких взрослых. Самое главное, что при этом уничтожаются прежние записи, и информация о семьях теряется. В результате у ведомства не остается записей о членах семей.

Это была история не только об иммиграции и семьях, но и о технологии. Правительство использовало структурированную базу данных, которая работала только в одном направлении. Вместо того чтобы обновить ИТ-систему и обеспечить техническую поддержку новых мер по разлучению семей, администрация стала действовать, не подумав о необходимой компьютерной архитектуре. Я видел, какую систему использует Бюро таможенного и пограничного контроля в центре управления недалеко от мексиканской границы, когда мы с Уэнди наведались туда несколько месяцев назад, и не удивился тому, что она устарела. Но то, что администрация не подумала о последствиях, было ужасным.

Оказавшись в конференц-зале тем утром, где руководители высшего звена во главе с Сатьей собрались на пятничное совещание, я рассказал о том, что услышал. В процессе обсуждения этого вопроса стало ясно, что он имеет прямое отношение к нашим опасениям, связанным с предложением отключать правительственные агентства от всех наших сервисов, когда они проводят политику, с которой мы не согласны. Технология стала ключевой инфраструктурой нашей жизни, и отказ обновлять ее — или, что еще хуже, решение вообще отключить — чреват массой нежелательных и непредвиденных последствий. Как Сатья несколько раз подчеркивал во время наших внутренних разговоров, правительство использует электронную почту как один из инструментов воссоединения семей. Если мы отключим ее, кто знает, к чему это приведет?

В результате мы пришли к выводу, что бойкотирование какого-либо правительственного агентства в Соединенных Штатах нельзя считать правильным подходом. Однако люди, настаивающие на таких действиях, в том числе ряд наших собственных работников, ставят правильные вопросы. Технология распознавания лиц, например, создает проблемы, требующие большего внимания.

Кроме того, на наш взгляд, эта новая технология требовала нового законодательства и регулирования. Только таким образом можно было обеспечить неприкосновенность частной жизни в обществе и устранить риски необъективности и дискриминации, не мешая дальнейшему внедрению инноваций.

Для многих было странно, что компания обращается к правительству с призывом ввести регулирование для ее продуктов. По словам Джона Томпсона, председателя нашего совета директоров, некоторые в Кремниевой долине сочли, что мы отстаем от других компаний на рынке и хотим через регулирование затормозить развитие конкурентов. Это вызвало у меня бурные возражения. Все совсем не так — в 2018 г. Национальный институт стандартов и технологии после очередного раунда тестирования технологии распознавания лиц признал, что наши алгоритмы являются лучшими или почти лучшими во всех категориях. Помимо нас свою технологию на это тестирование предоставили еще 44 компании, но было немало таких, включая Amazon, кто отказался от участия.

Такая заинтересованность в регулировании была связана с нашими представлениями о направлении движения рынка. Несколько месяцев назад одна из наших команд хотела продать ИИ-решение, включавшее в себя сервис по распознаванию лиц, правительству страны, в которой отсутствовала независимая судебная система и не слишком строго соблюдались права человека. Это правительство собиралось внедрить сервис в столице страны. Мы опасались, что правительство, которое пренебрегает правами человека, будет использовать нашу технологию для слежки за неугодными в любом месте — или за всеми на всей территории.

По рекомендации нашего внутреннего комитета по этике в сфере ИИ мы решили отказаться от предложенной сделки. Комитет рекомендовал провести черту и воздерживаться от предоставления доступа к сервисам по распознаванию лиц странам, которые, по мнению Freedom House, независимой организации, занимающейся надзором за соблюдением свобод и демократии по всему миру, нельзя считать свободными. Местная команда, конечно, была не в восторге от этого. Я, как лицо, являющееся последней инстанцией в таких вопросах, получил очень эмоциональное электронное письмо от руководителя команды по продажам, которая занималась сделкой. По ее словам, она, «как мать и профессионал, … чувствовала бы себя в значительно большей безопасности», если бы мы позволили использовать сервис для снижения риска насилия и террора.

Мне были понятны ее доводы. Они подчеркивали сложность компромиссов в такой неоднозначной сфере, как поиски баланса между общественной безопасностью и правами человека. Они также демонстрировали субъективность характера многих этических решений, принимаемых в отношении искусственного интеллекта. И, конечно, нас беспокоило то, что в случае отказа в доступе к этому сервису его могла предоставить какая-нибудь другая компания. Тогда мы проигрывали бы дважды — теряли сделку и становились пассивными наблюдателями того, как кто-то еще способствует злоупотреблениям, несмотря на нашу позицию. Однако, взвесив все эти факторы, мы решили, что должны попытаться поставить развитие этой новой технологии на некий этический фундамент. А единственным способом сделать это был отказ от определенных видов ее использования и развертывание широкой общественной дискуссии.

Потребность в бескомпромиссном подходе усилилась еще больше, когда местные органы правопорядка в Калифорнии связались с нами и заявили, что хотят оснастить все свои автомобили и полицейских камерами, чтобы они могли постоянно делать снимки людей и смотреть, нет ли среди них тех, кто включен в базу разыскиваемых за какие-либо преступления. Мы понимали логичность такого запроса, но сказали, что технология распознавания лиц пока слишком сырая, чтобы применять ее в подобных целях. Это, по крайней мере в 2018 г., привело бы к многочисленным ложным срабатываниям и внесению в списки нарушителей неправильно идентифицированных людей, особенно из числа небелых и женщин, для которых частота появления ошибок остается высокой. Мы отказались от заключения сделки и убедили полицейских воздержаться от использования распознавания лиц с такой целью.

В череде подобных случаев постепенно вырисовывались принципы, которые можно было применить к распознаванию лиц. Беспокоило то, что толку от этого будет мало, если мы начнем поступать правильно с точки зрения морали, а другие компании в Сиэтле и с другой стороны Тихого океана — нет. Распознавание лиц, как и многие другие технологии на основе ИИ, становится тем лучше, чем больше объем доступных данных. Это создает стимул к заключению как можно большего количества сделок и, таким образом, к возникновению коммерческой гонки по нисходящей, в которой технологические компании оказываются перед выбором — социальная ответственность или рыночный успех.

Единственный способ защититься от такой гонки по нисходящей — это установить базовую ответственность, которая поддержит здоровую рыночную конкуренцию. А для появления солидной базы нужно было, чтобы эта технология и организации, которые разрабатывают и используют ее, опирались на верховенство закона.

Мы обратились к историческому опыту регулирования других технологий. Есть немало рынков, где сбалансированный подход к регулированию создает более здоровые условия и для потребителей, и для производителей. Автомобильная отрасль не одно десятилетие в XX в. сопротивлялась регулированию, однако сегодня никто не отрицает ту роль, которую сыграло законодательство в повсеместном внедрении ремней и подушек безопасности, а также повышении топливной экономичности. То же самое можно сказать и о безопасности воздушного движения, производстве пищевых продуктов и лекарственных средств.

Конечно, одно дело рассуждать о необходимости регулирования и совсем другое дело определить, какое именно регулирование будет наиболее разумным. В июле 2018 г. мы опубликовали перечень вопросов, которые, по нашим представлениям, требовали рассмотрения, и обратились к публике за помощью в поиске ответов. Поначалу в дискуссию вступили работники и специалисты по технологиям, но очень быстро обсуждение захватило страну, а потом и весь мир, включая группы правозащитников вроде Американского союза гражданских свобод, который играл активную роль в решении вопроса.

Меня особенно поразила реакция законодателей, с которыми я встречался в Национальном собрании в Париже. Как сказал один из его членов, «ни одна другая технологическая компания не задает нам таких вопросов. Почему вы не такие, как все?» Распознавание лиц относилось к такому типу проблем, по которым мы иногда расходились во мнениях с другими в технологическом секторе. Пожалуй, больше, чем что-либо другое, это было связано с нашим опытом, полученным в ходе антимонопольных разбирательств 1990-х гг. В то время мы, как и многие компании и целые отрасли, настаивали на том, что регулирование не нужно и даже вредно. Один из множества уроков, которые мы вынесли из нашего опыта, заключался в том, что такой подход не всегда работает — или не всегда приемлем — для продуктов, имеющих большое значение для общества или несущих одновременно выгоду и потенциальную опасность.

Мы перестали возражать против вмешательства правительства, как это традиционно делало большинство технологических компаний. У нас за плечами уже был опыт участия в этом сражении. Теперь мы придерживались того, что считали более активным, но сбалансированным подходом к регулированию. Именно в этом заключалась одна из причин, по которым мы призывали к принятию федерального закона о защите персональных данных в Соединенных Штатах в 2005 г. Можно не сомневаться в том, что наверняка возникнут ситуации, когда правительство будет делать все не так, и нам придется жалеть о своих призывах. Однако мы верили, что в целом такой подход будет лучше для технологии и общества, чем практика, при которой решение всех вопросов отдается на откуп технологическому сектору.

Важно было понять специфику. Статья Ниташи Тику в журнале Wired подчеркнула это. Как она отметила в конце 2018 г., «после жутких технологических скандалов на протяжении целого года даже те руководители, которые всегда были против вмешательства правительства, стали признавать свою открытость для законодательных требований». Однако, с ее точки зрения, мы хотели пойти «на шаг дальше», делая конкретное предложение правительствам по регулированию технологии распознавания лиц.

К декабрю у нас накопилось достаточно информации, чтобы предложить новый законопроект. Мы, конечно, не могли ответить на все вопросы, но надеялись на то, что имеющихся ответов достаточно для принятия хорошего начального закона в этой области, который позволит технологии развиваться и обеспечит защиту интересов общества. На наш взгляд, для правительств было важно не отстать от этой технологии, и последовательный подход позволил бы наладить более быстрое и качественное обучение по всему государственному сектору.

По существу, мы заимствовали распространенную в сфере стартапов и разработки программного обеспечения идею «минимально жизнеспособного продукта». По определению предпринимателя и автора Эрика Риса, она подразумевает создание «первоначальной версии нового продукта, которая позволяет команде получить максимальный объем подтвержденного знания (знания, основанного на реальных данных, а не на предположениях о будущем) о клиентах». Другими словами, она предлагает не ждать получения исчерпывающих ответов на все мыслимые вопросы. В случае уверенности в том, что у вас есть надежные ответы на ключевые вопросы, действуйте на их основе, создавайте продукт и выводите его на рынок для получения реальной обратной связи. Такой подход позволяет не только компаниям, но и технологии развиваться быстрее и более успешно.

Даже в случае ускоренного движения критически важно все тщательно продумывать и обеспечивать уверенность в том, что первые шаги будут позитивными. Мы считали, что наш набор идей достаточен для решения проблем, связанных с распознаванием лиц. Свои аргументы в пользу нового законопроекта я публично представил в Брукингском институте в Вашингтоне и дополнительно опубликовал некоторые детали нашего предложения. Затем мы развернули широкую кампанию и в течение следующего полугода представляли их на всех публичных мероприятиях и слушаниях в Соединенных Штатах и восьми других странах.

По нашему мнению, законопроект мог решить три ключевые проблемы — устранить риск необъективности, обеспечить неприкосновенность частной жизни и гарантировать защиту демократических свобод. Мы считали, что хорошо функционирующий рынок может ускорить прогресс в деле устранения необъективности. Никому из клиентов, с которыми мы имели дело, не был нужен такой сервис по распознаванию лиц, который дает много ошибок и приводит к дискриминации. Однако рынок не сможет функционировать, если у клиентов не будет информации. Подобно группам вроде Consumer Reports, которые информируют публику по вопросам, скажем, безопасности автомобилей, ученые и компетентные организации могли бы тестировать конкурирующие сервисы по распознаванию лиц и распространять информацию об их точности. Это дало бы возможность исследователям вроде Джой Буоламвини из Массачусетского технологического института осуществлять проекты, которые будут подгонять нас. Главное, чтобы компании, действующие на рынке, предоставили возможность тестировать их продукты. Именно это мы и предлагали, фактически используя регулирование для укрепления рынка.

Для снижения риска дискриминации новый законопроект должен был потребовать от организаций, использующих распознавание лиц, обучения персонала с тем, чтобы он мог анализировать результаты, прежде чем принимать решения, — а не просто передавать принятие решений компьютерам. В числе прочего нас беспокоило, что риски необъективности могут усугубляться, если организации начнут использовать распознавание лиц не так, как предполагалось, когда эта технология разрабатывалась. Обучение персонала могло помочь устранению этой проблемы.

В некотором смысле более сложный вопрос возникал, когда правоохранительные органы хотели использовать распознавание лиц для слежения за перемещениями отдельных людей в течение дня.

Демократия всегда зависела от способности людей встречаться и разговаривать друг с другом и даже обсуждать разные взгляды, как конфиденциально, так и публично. Для этого нужна возможность свободно передвигаться, причем без постоянной слежки со стороны правительства.

Государство находит множество применений технологии распознавания лиц в целях обеспечения общественной безопасности и улучшения обслуживания публики, не вызывая подобной обеспокоенности. Однако в сочетании с повсеместным размещением камер, огромной вычислительной мощностью и облачным хранением данных технология распознавания лиц может использоваться для непрерывного слежения за определенными лицами. Такая слежка может быть начата в любой момент и даже вестись все время. Подобное использование этой технологии способно привести к массовой слежке в беспрецедентных масштабах.

Как Джордж Оруэлл написал в романе «1984», в будущем гражданам придется скрываться от слежки государства, пробираться тайком в темное место с занавешенными окнами, иначе камеры и микрофоны сфотографируют их лица и запишут каждое слово. Оруэлл нарисовал эту картину почти 70 лет назад. Нас беспокоит то, что нынешняя технология делает такое будущее возможным.

Ответом, на наш взгляд, был законопроект, позволяющий правоохранительным органам использовать распознавание лиц для постоянной слежки за определенными людьми только при наличии решения суда или в случае неминуемой угрозы жизни кого-либо. Это создало бы правила для сервисов по распознаванию лиц, аналогичные тем, что действуют сейчас в Соединенных Штатах в отношении слежения за перемещением людей по местонахождению их сотовых телефонов с GPS-навигацией. В соответствии с принятым в 2018 г. решением Верховного суда полиция не может без ордера на обыск получить записи, показывающие местонахождение телефона, а следовательно, и перемещение человека. Мы сформулировали этот вопрос и ответ на него так: «Нуждаются ли наши лица в такой же защите, как и телефоны? С нашей точки зрения, ответом является твердое "да"».

Наконец, было очевидно, что регулирование распознавания лиц также должно защищать персональные данные потребителей в коммерческом контексте. Мы стоим на пороге эпохи, в которую у каждого магазина могут быть камеры, связанные с облаком и сервисами по распознаванию лиц в реальном времени. Как только вы входите в магазин, вас могут не только сфотографировать, но и узнать. Владелец магазина может поделиться этой информацией с другими торговыми организациями. Владея такой информацией, торговцы знают, когда вы приходили в последний раз, чем интересовались и что купили, у них появляется возможность предсказывать, что вас будет интересовать в следующий раз.

У нас не было цели добиться, чтобы новое регулирование запрещало такие технологии. Напротив, мы входим в число компаний, которые стараются помочь магазинам ответственно использовать технологию для повышения качества обслуживания покупателей. С нашей точки зрения, многим потребителям должен понравиться новый уровень обслуживания. Вместе с тем мы считали, что люди должны знать, когда используется распознавание лиц, иметь право задавать вопросы и возможность реального выбора.

Мы рекомендовали установить для организаций, использующих распознавание лиц, требование «ясно уведомлять» людей об этом. Кроме того, нужно разработать новые правила принятия решений о том, когда и как люди могут реально контролировать процесс и давать согласие на него. Понятно, что последний вопрос потребует дополнительной проработки в ближайшие годы для определения правильного правового подхода, особенно в Соединенных Штатах, где законодательство о защите персональных данных не так развито, как в Европе.

Также нелишне было подумать о том, где должны появиться новые законы. В отношении некоторых аспектов нам не нужно было добиваться повсеместного принятия законов. Например, если один крупный штат или государство потребует, чтобы компании предоставляли свои сервисы по распознаванию лиц для тестирования, то результаты можно публиковать и распространять в других местах. Исходя из этого, мы предложили законодателям штатов рассмотреть новый законопроект во время подготовки к заседаниям в начале 2019 г.

Однако для защиты персональных данных потребителей и демократических свобод требовались новые законы во всех юрисдикциях. Мы понимали нереалистичность такой задачи с учетом разнообразия взглядов правительств разных стран. По этой причине просто призвать правительства к действиям было определенно недостаточно. Даже если правительство США предпримет решительные действия, мир не обязательно поступит так же. У людей никогда не будет уверенности в том, что все страны мира будут использовать эту технологию с соблюдением прав человека.

Главенствующая роль правительств, впрочем, не снимает с технологических компаний моральной ответственности. Технология распознавания лиц должна разрабатываться и применяться в соответствии с общепринятыми ценностями. Мы опубликовали шесть принципов, подкрепляющих нашу законодательную инициативу. Мы следуем им сами и у нас есть системы и инструменты, необходимые для их реализации. Другие технологические компании и группы поддержки уже начали принимать аналогичные подходы.

Проблема распознавания лиц дает некоторое представление о возможных путях эволюции других этических вопросов, связанных с искусственным интеллектом. Их решение может начинаться, как и в нашем случае, с широких принципов, единых для всех стран, и с тестирования этих принципов на практике применительно к конкретным технологиям ИИ и конкретным сценариям. Кроме того, толчком к поиску решения может стать появление потенциально неоднозначных сфер применения ИИ.

Наверняка возникнут новые проблемы. Как и в случае с распознаванием лиц, каждая из них потребует детальной проработки и тщательного исследования потенциальных направлений использования технологии. Многие из них придется решать, сочетая государственное регулирование и активное саморегулирование технологических компаний. Немало будет и таких, которые приведут к серьезным различиям во взглядах в разных странах и культурах. Нам придется выработать более эффективные подходы, позволяющие странам быстрее двигаться вперед и сотрудничать в поисках решения этих проблем. Только так можно гарантировать, что машины и дальше будут подчиняться людям.