Войти в систему
Войти с помощью соц. сетей:
Синьцзян-Уйгурский автономный район расположен на северо-западе Китая. Его огромная территория, примерно в два с половиной раза превышающая площадь штата Техас, граничит с семью странами: Монголией на северо-востоке, Россией на севере, Казахстаном, Кыргызстаном, Таджикистаном, Афганистаном, Пакистаном и Индией на западе. Здесь суровый климат и негостеприимный пейзаж с преобладанием скалистых гор и пустынь, среди которых разбросаны города, вобравшие в себя бо́льшую часть 24-миллионного населения района. Легендарный Великий шелковый путь — точнее, пути, поскольку он представлял собой сеть дорог, — когда-то пролегал через Синьцзян, что обеспечило этому региону главенство в торговле между Востоком и Западом, способствовавшей развитию цивилизаций во всей Евразии. Марко Поло совершил путешествие по этому пути в конце XIII века и увидел шумные базары и верблюдов с поклажей, похожих на тех, что и сегодня можно встретить в Синьцзяне.
В наши дни Синьцзян оказался в центре внимания не благодаря своей богатой истории, а потому, что крупнейшая этническая группа этого региона, уйгуры, угодила в оруэлловскую антиутопию. В таких городах, как Кашгар, Китай устроил тотальную слежку, сочетая многочисленные полицейские патрули, контрольно-пропускные пункты и передовые технологии. Практически за каждым жителем города ведется постоянное наблюдение: тысячи камер расположены на улицах, крышах зданий и столбах. Во время передвижения по городу жителей останавливают на контрольно-пропускных пунктах и позволяют продолжить путь лишь после идентификации системами распознавания лиц.
Синьцзян не только эпицентр слежки за гражданами. Это еще и полигон для испытания методов и технологий, которые постепенно распространяются на всю территорию страны. Предполагалось, что к 2020 году Китай установит почти 300 млн видеокамер, многие из которых будут подключены к системам распознавания лиц или используют другие методы слежения на основе ИИ, например идентификацию пешеходов по походке или характеру одежды.
Живущие в Синьцзяне уйгуры, нарушающие установленные правила или интересующиеся запрещенной идеологией, например читающие Коран, рискуют оказаться в одном из огромных «лагерей перевоспитания», созданных китайскими властями в этом регионе. В других областях страны руководство Китая тоже вознамерилось корректировать поведение с использованием всеобъемлющей системы социального рейтинга. Постепенно все больше аспектов жизни человека — покупки, поездки, пользование соцсетями и контакты с другими людьми — оказывается под наблюдением, фиксируется и анализируется. Затем на основе этой информации вычисляется общий социальный рейтинг каждого человека. Обладатели низкого рейтинга наказываются, например лишаются права пользования общественным транспортом или возможности записать своих детей в школу.
Эти процессы ускоряются вследствие стремительного превращения Китая в мирового лидера в сфере исследования и разработки искусственного интеллекта. По некоторым показателям, таким как число компьютерщиков и инженеров, работающих в этой области, и количество опубликованных научных статей, Китай уже обогнал Соединенные Штаты. Страна сделала развитие искусственного интеллекта приоритетной задачей и вкладывает в нее огромные деньги. Судя по всему, ее руководители не только привержены этой цели, но и хорошо ориентируются в вопросе. В начале 2018 года председатель КНР Си Цзиньпин обратился по телевидению к народу из своего кабинета на фоне полок с книгами об ИИ и машинном обучении. Власти также участвуют в финансировании сотен стартапов, многие из которых оцениваются в миллиарды долларов и являются безусловными технологическими лидерами.
По мере превращения Китая в один из двух главных мировых центров исследований и разработок в области искусственного интеллекта, конкуренция между КНР и Соединенными Штатами и Западом в целом будет лишь усиливаться. Значительная доля формирующейся в Китае отрасли ИИ занимается распознаванием лиц и другими методами слежения, и занятые в ней компании находят заинтересованных клиентов не только в Китае, но и во всем мире. Как будет показано, не только авторитарные режимы пользуются технологиями слежения на основе ИИ. Так, распознавание лиц широко применяется в Соединенных Штатах и других демократических странах, что уже вызвало острые дебаты и обвинения в предвзятости и злоупотреблении властью. Эти вопросы чреваты серьезными проблемами, и ситуация станет усугубляться с ростом возможностей и распространением новых технологий, если, конечно, их использование не будет строго регулироваться.
В июне 2018 года в Солт-Лейк-Сити, штат Юта, прошла значимая конференция, посвященная компьютерному зрению. За шесть лет после состязания ImageNet 2012 года эта область знания совершила огромный рывок, и теперь исследователи занялись решением намного более сложных проблем. Одним из самых ярких событий на конференции стал конкурс Robust Vision Challenge, проводившийся на средства ведущих компаний, в том числе Apple и Google. Команды из университетов и исследовательских лабораторий всего мира участвовали в серии соревнований, где требовалось продемонстрировать надежное распознавание визуальных образов в разных ситуациях, скажем при искусственном и естественном освещении или при разных погодных условиях. Эта способность имеет принципиальное значение для беспилотных автомобилей и роботов, действующих в изменяющейся обстановке. Один из самых интересных этапов состязания был посвящен стереоскопическому машинному зрению — использованию двух видеокамер во многом подобно нашим глазам. Интерпретируя визуальную информацию, получаемую с разнесенных на небольшое расстояние точек обзора, наш мозг создает трехмерное представление наблюдаемой сцены. С помощью двух соответствующим образом размещенных камер алгоритм может делать нечто похожее.
К удивлению многих, победительницей оказалась группа исследователей Национального университета оборонных технологий из Китая. Университет был основан в 1953 году как центр подготовки инженерных кадров Народно-освободительной армии и получил множество национальных наград за исследования и инновации, особенно в области компьютерных наук. Согласно информации на его сайте, университет «опирается в своей образовательной деятельности на сформулированную [Коммунистической] партией новую теорию воспитания ее верных и квалифицированных сторонников». Это весьма яркое свидетельство того, что в Китае между исследованием ИИ в научных или коммерческих целях и политическими, военными и силовыми структурами существует в лучшем случае очень проницаемая граница.
Вторжение практически во все аспекты экономической и социальной жизни страны и их контроль в той или иной мере — норма для китайских властей. Стремительный прогресс Китая в области искусственного интеллекта стал возможным благодаря политике в отношении промышленности, сформулированной руководством страны.
По мнению многих, катализатором внезапного интереса к ИИ со стороны Коммунистической партии Китая стал нашумевший турнир между системой AlphaGo разработки DeepMind и чемпионом по го Ли Седолем, состоявшийся в марте 2016 года. Го появилось в Китае по меньшей мере 2500 лет назад и пользуется там огромной популярностью и невероятным почтением. Триумфальную победу AlphaGo со счетом 4:1 в этом турнире, проходившем в течение семи дней в южнокорейском Сеуле, наблюдали в прямом эфире более 280 млн китайцев — почти в три раза больше народа, чем обычно собирается у экранов во время матчей Суперкубка. Абсолютная победа компьютера над одним из сильнейших в мире игроков в интеллектуальном состязании, имеющем глубочайшие корни в китайской истории и культуре, произвела неизгладимое впечатление как на общество, так и на китайских ученых, технологов и чиновников. Ли Кайфу, венчурный капиталист и писатель из Пекина, сравнивает результат матча между AlphaGo и Ли Седолем с «эффектом “Спутника”», имея в виду советский искусственный спутник Земли, запуск которого мобилизовал американское общество на поддержку космической программы в США в 1950-х годах.
Всего через год в китайском Учжэне прошло второе состязание. На турнире из трех матчей с призовыми $1,5 млн для победителя AlphaGo наголову разбила китайского мастера Кэ Цзе, в то время сильнейшего игрока в мире. На сей раз, однако, никто не следил за поединком в прямом эфире. Китайские власти, вероятно предвидя результат, наложили запрет на трансляцию турнира в реальном времени и даже на его комментирование.
Через три месяца после того, как Кэ Цзе проиграл AlphaGo, в июле 2017 года, центральное правительство Китая обнародовало четкий план, в котором искусственный интеллект был объявлен стратегическим приоритетом страны. В документе под названием «План создания искусственного интеллекта нового поколения» заявлялось, что ИИ призван «произвести колоссальные изменения в обществе и жизни людей и изменить мир», и описывался чрезвычайно смелый пошаговый курс к достижению господства в этой технологической области к 2030 году. К 2020 году, писали авторы плана, «общее состояние и применение технологии ИИ в Китае будут соответствовать ведущим мировым образцам» и «отрасль ИИ станет новым важным центром экономического роста». Далее, «к 2025 году Китай совершит принципиальные прорывы в основных теориях ИИ, вследствие чего некоторые технологии и приложения займут лидирующее положение и ИИ станет главной движущей силой промышленного развития и экономического преобразования Китая». Наконец, «к 2030 году лидерство китайских теорий, технологий и приложений ИИ превратит страну в глобальный центр инноваций в области ИИ, позволит добиться заметных результатов в интеллектуальной экономике и заложит фундамент для превращения Китая в ведущую державу инновационного типа и главную экономическую силу».
Опубликование этого документа знаменательно не потому, что у центрального правительства Китая есть возможность напрямую влиять на развитие искусственного интеллекта в стране, а по той причине, что в нем определена общая стратегия и, что, пожалуй, еще важнее, созданы очевидные стимулы для региональных и местных властей. В системе управления Китаем значительной властью наделяются деятели Коммунистической партии, которые руководят регионами и городами. Продвижение по партийной лестнице носит по большей части меритократический характер, и развитие карьеры партийца очень сильно зависит от того, как он проявляет себя в конкурентной экосфере, где ценятся результаты, определяемые по определенным критериям. Для тех, кому удается выдвинуться, практически не существует пределов роста. Си Цзиньпин большую часть своей карьеры руководил провинциями Фуцзянь и Чжэцзян, а затем Шанхаем.
Еще до того, как центральные власти открыто одобрили искусственный интеллект, некоторые регионы уже инвестировали в него значительные средства и поддерживали стартапы, занимающиеся ИИ. В значительной степени эта деятельность была сосредоточена в промышленном коридоре высокий технологий, в частности в городе Шэньчжэнь на юге и районе Чжунгуаньцунь в северо-западной части Пекина, который находится рядом с двумя самыми престижными университетами страны, Пекинским и Цинхуа, и часто именуется китайской Кремниевой долиной. Стратегический документ, опубликованный в 2017 году, фактически стал индикатором успешности в области ИИ, по которому, как было ясно региональным руководителям, их, скорее всего, будут оценивать. В результате регионы и города всей страны быстро включились в соревнование, создавая особые экономические зоны и инкубаторы стартапов и предоставляя венчурный капитал и дотации на аренду помещений стартапам, занимающимся ИИ. Инвестиции отдельно взятого города вполне могут достигать нескольких миллиардов долларов. Подобное общее координирование сверху вниз с акцентом на инновации трудно представить в Соединенных Штатах. Американский вариант конкуренции регионов обычно гораздо ближе к игре с нулевой суммой — Техас переманивает фирмы из Калифорнии, города предлагают большие налоговые льготы крупным компаниям в обмен на возвращение производств, создающих рабочие места.
Стремительный прогресс Китая в области искусственного интеллекта опирается на ряд принципиально важных преимуществ этой страны. Многие из них — прямое следствие огромного населения. В марте 2020 года в Китае насчитывалось около 900 млн активных пользователей интернета, больше чем в США и Европе вместе взятых, примерно одна пятая от общемирового показателя. Однако доступ к интернету имеют лишь около 65% населения Китая, тогда как в Соединенных Штатах — 90%. Иными словами, у Китая намного больший потенциал роста онлайнового присутствия. Среди 1,4 млрд китайцев огромное количество умных и амбициозных старшеклассников и студентов, стремящихся в совершенстве овладеть такими технологиями, как глубокое обучение, в надежде со временем стать участниками — или основателями — одного из многочисленных стартапов, занимающихся ИИ. Стоимость многих из этих компаний уже превысила $1 млрд. Эти молодые люди — одни из самых увлеченных и заинтересованных слушателей онлайновых курсов ведущих американских университетов, например МТИ и Стэнфорда. Они активно штудируют статьи, написанные сильнейшими исследователями ИИ из Северной Америки и Европы. В результате в Китае быстро формируется крупный резерв талантливых и невероятно трудолюбивых инженеров, которые скоро будут готовы применять ИИ практически во всех сферах китайской экономики и общества.
Самым важным преимуществом является просто объем, а также тип данных, активно создаваемых экономикой Китая. Китай — развивающаяся страна, где в устаревшую инфраструктуру вложено намного меньше средств, чем в развитых экономиках, благодаря чему это государство сразу скакнуло на передний край мобильных технологий. Китайцы используют смартфоны значительно разнообразнее типичного западного человека. Особую роль в этом играет популярное приложение WeChat, созданное Tencent и выпущенное на рынок в 2011 году. Оно стало невероятно популярным в Китае, а также в китайских диаспорах в других странах.
В своей основе WeChat — это мессенджер наподобие WhatsApp от Facebook. Однако Tencent с самого начала приняла решение радикально увеличить доступность WeChat, позволив третьим сторонам добавлять к приложению собственные функции через так называемые официальные аккаунты. Фактически мини-приложения, они невероятно популярны у всевозможных коммерческих организаций, особенно если сочетаются с функцией электронных платежей, имеющейся в WeChat. В Соединенных Штатах и других западных странах нормой является наличие у каждой фирмы собственного мобильного приложения. В Китае WeChat превратился в своего рода платформу, и миллионы фирм и организаций используют его для взаимодействия с публикой. Китайцы пользуются WeChat не только для общения, но и для расчетов в ресторанах, записи на прием к врачу, онлайн-знакомств, оплаты коммунальных счетов, вызова такси — практически для всего на свете. Количество сервисов, доступных через WeChat, постоянно растет. В отличие от таких систем, как Apple Pay, пользование которой осложняется для продавцов необходимостью покупать дорогостоящее оборудование для точек продаж, чтобы провести мобильный платеж через WeChat, достаточно предъявить покупателю штрихкод для сканирования. В результате даже мелкие фирмочки, вплоть до уличных торговцев едой, могут с легкостью получать цифровые платежи. В Китае платежный сервис WeChat намного популярнее кредитных карт и во многих местах вытесняет даже наличные.
В общем, цифровая активность в Китае несоизмеримо выше, и ее проникновение в экономику в целом намного больше, поскольку она захватывает даже тот поток транзакций, который в Соединенных Штатах или Европе, скорее всего, проходил бы офлайн. Каждый платеж, каждое бронирование, каждая поездка на такси и каждое взаимодействие, независимо от типа, генерирует данные, идеально подходящие для поглощения алгоритмами глубокого обучения.
Данных в Китае не только больше, они еще и гораздо доступнее для предпринимателей в области ИИ. Хотя правовая защита неприкосновенности личных данных существует, она далеко не такая строгая, как в Соединенных Штатах и особенно в Европе. Китайская публика, со своей стороны, не слишком озабочена этим вопросом. Обеспокоенности по поводу неприкосновенности частной жизни или, скажем, расовой предвзятости алгоритмов — вопросов, моментально вызывающих ярко выраженное недовольство в демократических обществах, — в Китае нет или практически нет. Если получение компанией Google данных министерства здравоохранения, первоначально передаваемых по контракту DeepMind, немедленно вызвало гневный протест в Великобритании, то китайские технологические компании обычно не встречают особых препон на пути к прибыльному использованию искусственного интеллекта в таких областях, как здравоохранение и образование. Если данные — это новая нефть, то китайские предприниматели в области ИИ — это новые поисковики, которые бурят скважины и ставят нефтяные вышки в самых многообещающих местах слабо контролируемого цифрового поля.
Еще до взрывного роста числа стартапов в области ИИ ведущие технологические компании Китая, особенно Tencent, Alibaba и Baidu, вкладывали огромные деньги в исследование и разработку искусственного интеллекта. Baidu, которую часто называют китайской Google, главная в стране поисковая машина, приобрела огромный опыт в таких областях, как распознавание речи и языковой перевод, и активно проникает в другие сферы. Так, в 2017 году Baidu создала Apollo, платформу с открытым кодом для беспилотных транспортных средств (в сущности, нечто вроде Android для беспилотников), которую она предоставляет бесплатно компаниям из сильно фрагментированной автомобильной отрасли Китая. Партнерами программы стали транснациональные автопроизводители, в том числе BMW, Ford и Volkswagen, а также поставщики технологий, такие как NVIDIA. Взамен Baidu получает доступ к генерируемым транспортными средствами данным, на которых затем может обучать свои алгоритмы. Иначе говоря, Baidu проводит уникальную стратегию, в перспективе обещающую преимущества, которыми пользуется Tesla благодаря сотням тысяч своих машин, оснащенных видеокамерами.
Поначалу прогресс Китая в области ИИ в значительной степени поддерживался заимствованием знаний и переманиванием специалистов из Соединенных Штатов и других западных стран. Особенно желанными целями для рекрутеров были американские исследователи, свободно владеющие китайским языком. Например, в 2014 году Baidu наняла одного из самых опытных экспертов по глубокому обучению, Эндрю Ына, в то время возглавлявшего проект Brain в компании Google — первую попытку этой компании крупномасштабно применить глубокие нейронные сети. Ын, проработавший в Baidu три года, прежде чем вернуться в Кремниевую долину, организовал лабораторию по исследованию искусственного интеллекта в Пекине. Затем в 2017 году Baidu пригласила на должность операционного директора Ки Лу, возглавлявшего работу над ИИ в Microsoft. Лу, обладатель докторской степени Университета Карнеги — Меллона, относится к растущей группе иммигрантов, получивших образование по одной из лучших аспирантских программ США и решивших вернуться в Китай, где возможности развития бизнеса на основе ИИ выглядят более привлекательно. Хорошие перспективы и стремительно меняющийся ландшафт порождают высокую текучесть среди видных китайских экспертов по ИИ. Лу задержался в Baidu всего на год и теперь возглавляет инкубатор стартапов в Пекине.
Ключевую роль сыграл также доступ к исследованиям и алгоритмам, созданным на Западе. Примерно через год после триумфальной победы AlphaGo над Кэ Цзе Tencent объявила, что ее программа Fine Art для игры в го также сумела победить мастера го. Однако система Tencent, скорее всего, сильно опиралась на опубликованную работу DeepMind, а может быть, даже была с нее скопирована. Большинство западных исследователей ИИ, с которыми я разговаривал, не выражали особого беспокойства из-за передачи знаний этого типа и не воспринимали прогресс с точки зрения соревнования наций. Они убежденные сторонники глобальной системы, опирающейся на открытую публикацию исследований и свободный обмен идеями. Когда я спросил генерального директора DeepMind Демиса Хассабиса, идет ли «соревнование с Китаем в области ИИ», он ответил, что DeepMind открыто публикует свои наработки и, хотя ему известно о «создании Tencent клона AlphaGo», он не воспринимает это как «соревнование, поскольку все исследователи на виду и сотрудничество между ними очень активно».
Китайские исследователи и сами вносят существенный вклад в массив публикаций об исследованиях ИИ. По данным Института искусственного интеллекта Аллена на начало 2019 года, Китай уже опередил Соединенные Штаты по общему количеству статей об искусственном интеллекте, опубликованных после 2006 года. Поскольку, согласно общему мнению, многие публикации имеют относительно низкое качество или сообщают об очень скромном достижении, Институт Аллена провел дальнейший анализ, сосредоточившись на тех статьях, которые активно цитировались другими исследователями. Оказалось, что при сохранении текущей тенденции Китай должен был уже к концу 2019 года опередить Соединенные Штаты в количестве публикаций, входящих в первые 50% по цитируемости, а к 2020 году — в первые 10%. При таких темпах китайские исследователи будут к 2025 году публиковать больше США статей, относящихся к 1% самых цитируемых. По другому показателю — общему количеству патентов в области искусственного интеллекта — Китай уже опередил Соединенные Штаты.
Не все понимают, что Китай движется к превосходству над Соединенными Штатами в исследованиях и разработках искусственного интеллекта. В 2018 году Джеффри Динг, исследователь из Центра по вопросам управления ИИ Института будущего человечества при Оксфордском университете, оценил возможности по развитию ИИ в США и Китае по четырем показателям — базе установленного вычислительного оборудования для ИИ, доступности данных, пригодных для машинного обучения, уровню исследований и продвинутых алгоритмов, а также качеству коммерческой экосферы ИИ. На основании этих факторов Динг создал индекс потенциала в области ИИ, в соответствии с которым Китай набирает только 17 баллов, а США — 33. Динг, в частности, отмечает, что лишь около 4% заявок на патенты по ИИ, поданных в Китае, впоследствии были приняты и в других юрисдикциях, что, скорее всего, свидетельствует об их низком качестве. Выступая перед комитетом Конгресса США в июне 2019 года, он утверждал, что предполагаемый взлет Китая на вершину в области ИИ сводится к шумихе и преувеличениям и что Америке следует сосредоточиться на поддержании существующего положения дел.
Ли Кайфу, напротив, считает, что Соединенные Штаты еще некоторое время сохранят преимущество в исследованиях искусственного интеллекта, но скоро это преимущество будет уничтожено эффективностью Китая в практическом воплощении этой технологии в приложениях, пронизывающих всю экономику. По мнению Ли, чтобы заставить ИИ работать в коммерческой сфере, нужны не самые сильные визионеры, а просто многочисленные знающие и прилежные инженеры, имеющие доступ к огромному массиву данных для обучения машинных алгоритмов.
Ставки в возможной гонке Соединенных Штатов и Китая в области ИИ очень сильно поднимает тот очевидный факт, что влияние искусственного интеллекта не будет ограничено коммерческим сектором. ИИ сулит огромные преимущества также для военной сферы и национальной безопасности. Власти Китая прекрасно об этом знают и активно действуют с тем, чтобы полностью стереть разграничительную линию между этими областями. В 2017 году с подачи Си Цзиньпина в конституцию Китая было внесено изменение — требование к коммерческому сектору делиться любыми технологическими достижениями с Народно-освободительной армией. Это так называемый принцип военно-гражданского слияния. В 2018 году Baidu сотрудничала с китайским военным институтом электроники в создании умной технологии командования и управления для армии. Исполнительный директор Baidu Инь Шимин также инженер, имеющий опыт работы в западных компаниях, включая SAP и Apple. На мероприятии в честь начала партнерства Инь заявил, что Baidu и военный институт будут «сообща работать над соединением вычислений, данных и логистики с целью применения нового поколения ИИ-технологий в сфере обороны».
Это разительный контраст с требованием недовольных сотрудников Google выйти из борьбы за контракт с Пентагоном по облачным вычислениям JEDI. Другая оборонная инициатива — проект Maven по созданию алгоритмов компьютерного зрения для анализа изображений, собранных американскими военными дронами, — еще сильнее разъярила работающих в Google. В 2018 году более 3000 сотрудников компании подписали петицию протеста против этого проекта, а некоторые технические специалисты ушли из компании. Как и в случае JEDI, Google в конечном счете свернула проект. Разумеется, сотрудники компании имели полное право выражать свое мнение, но я усматриваю в этой ситуации очевидную и вызывающую обеспокоенность асимметрию. Мысль о том, что работники Baidu или Tencent могли бы подать аналогичный протест (или стали бы его подавать), попросту не приходит в голову. Невозможно обойти вниманием тот факт, что свободы, которыми пользуются граждане демократических государств, не являются естественными человеческими правами, существующими безусловно; это политические права, которые необходимо защищать от авторитаризма. Уровень развития технологии искусственного интеллекта в США и Китае выравнивается. Непонятно, как Соединенные Штаты надеются сохранить конкурентоспособность в области национальной безопасности, если такие компании, как Google, не хотят сотрудничать с американскими военными и силовыми ведомствами, в то время как их китайские коллеги обязаны помогать авторитарной власти, причем эта обязанность выражена настолько явно, что даже закреплена в конституции.
Очевидно, что Соединенные Штаты и другие страны Запада должны очень серьезно отнестись к стремительному взлету Китая в области искусственного интеллекта. Это, скорее всего, потребует увеличения правительственной поддержки фундаментальных исследований в университетах. Также необходимо, чтобы США сохранили одно из своих самых важных преимуществ — то, что их университеты и технологические компании являются центрами притяжения для профессионалов всего мира. Следовательно, США должны быть открытыми для иммиграции, о чем убедительно свидетельствует биография 23 ведущих исследователей ИИ, которых я опросил в ходе работы над книгой «Архитекторы интеллекта». Девятнадцать из них в настоящее время работают в США. Однако больше половины из этих 19 человек родились за пределами Соединенных Штатов в таких странах, как Австралия, Китай, Египет, Франция, Израиль, Родезия (теперь Зимбабве), Румыния и Великобритания. Если Соединенные Штаты перестанут привлекать самых ярких компьютерщиков со всего мира, Китай неизбежно получит преимущество, поскольку продолжает тратить больше денег на образование своего населения, по численности примерно в четыре раза превышающего население США.
Нигде синергия авторитарной системы власти Китая и коммерческой экосферы искусственного интеллекта не проявляется очевиднее, чем в растущем кластере стартапов, занимающихся технологией распознавания лиц. В начале 2020 года четыре из них — SenseTime, CloudWalk, Megvii и Yitu — достигли статуса «единорогов», то есть компаний с рыночной стоимостью более $1 млрд. Пока аналитики спорят, приблизился ли Китай к паритету с Соединенными Штатами в развитии технологии искусственного интеллекта, не приходится сомневаться, что в сфере алгоритмов глубокого обучения, используемых для анализа и распознавания лиц и других особенностей людей, китайские компании являются абсолютными лидерами. Как и в других областях применения искусственного интеллекта в Китае, важнейшей движущей силой этого процесса является доступ к огромному массиву данных, на которых можно обучать машинные алгоритмы. По оценкам, в 2020 году в Китае насчитывалось 300 млн камер слежения. Таким образом, с точки зрения доступности цифровых фотографий лиц во всех мыслимых ситуациях и под любыми углами Китай с большим отрывом является мировым лидером.
Бурное развитие стартапов, занимающихся распознаванием лиц, подпитывается безграничным спросом на технологии слежения на всех уровнях авторитарной власти в Китае. Среди самых заинтересованных покупателей этой технологии — полиция, совершенствующая свои сети слежки с учетом особенностей регионов. Синьцзян остается испытательным полигоном для китайского полицейского государства, и технологии, которые были здесь опробованы и доведены до совершенства, быстро распространяются на всю страну. Китайская полиция часто сочетает системы распознавания лиц с другими технологиями, в частности со сканерами мобильных телефонов, которые фиксируют уникальный идентификационный код каждого телефона, оказавшегося поблизости, а также с устройствами считывания автомобильных номеров и отпечатков пальцев. Это оруэлловское единство со временем становится все более тесным. Например, алгоритмы могут связывать идентификационные коды смартфонов с лицами, создавая всеобъемлющую систему идентификации и слежения за людьми. Подобные системы устанавливаются вокруг зданий в местах повышенной криминогенности. Доступ во многие жилые комплексы также осуществляется системой распознавания лиц, а не с помощью ключ-карты или других, менее интрузивных методов. Это позволяет управляющим зданиями и местным полицейским следить за жителями и гостями комплексов, а также предотвращает незаконную сдачу квартир в аренду.
Камеры слежения очень плотно размещены в местах, которые часто посещают приезжие или где велика вероятность скопления людей: на железнодорожных станциях, стадионах, возле достопримечательностей и площадок для проведения массовых мероприятий. Широкий резонанс вызвал ряд случаев ареста людей на концертах и фестивалях с участием до 60 000 зрителей исключительно на основании совпадений, выявленных системой распознавания лиц. Полицейские могут использовать экспериментальные очки для распознавания лиц, способные идентифицировать человека, если он остается неподвижным в течение нескольких секунд и находится в региональной базе данных. Подобное выглядит как сцены из фильмов-антиутопий. Другие системы ИИ могут распознавать людей по одежде или даже по уникальным особенностям их походки.
Одним из самых известных примеров использования этой технологии является город Сянъян, где на оживленных перекрестках действует система выявления пешеходов-нарушителей. Она фотографирует тех, кто переходит улицу не по правилам, и демонстрирует их на большом экране. Предполагается, что это вызовет публичное осуждение нарушителей. В других городах, включая Шанхай, аналогичные системы выписывают штрафы. Безусловно, не все случаи использования технологии распознавания лиц в Китае направлены на слежку. Эта страна является лидером в области сканирования лиц с целью авторизации платежей в розничных магазинах, покупки железнодорожных билетов и регистрации на авиарейсы. Однако любые данные, генерируемые в ходе рутинного применения этих технологий, почти наверняка доступны полиции и другим силовым ведомствам.
Если в одних случаях навязчивую слежку в Китае можно оправдать, хотя бы отчасти, стремлением защитить общество от преступников, то в других случаях она выходит за все разумные границы — на Западе такое было бы немыслимо. Например, некоторые отделения полиции сделали запрос на технологию, обученную распознавать не лица людей, а расовые признаки уйгуров и других «проблемных народностей». Китайские стартапы в области распознавания лиц быстро удовлетворили этот спрос. В статье Пола Мозера, опубликованной в The New York Times в апреле 2019 года, приводится скриншот онлайнового рекламного материала CloudWalk, где потенциальным покупателям обещают следующее: «Если численность проблемной группы на определенной территории увеличится (например, если прежде здесь жил один уйгур, а в течение 20 дней их стало шестеро), система немедленно разошлет уведомления, что позволит сотрудникам правоохранительных органов отреагировать, опросить людей и урегулировать ситуацию, а также выработать план действий в чрезвычайных ситуациях».
После демонстрации фотографий с примерами спокойно ведущих себя уйгуров и сцен массовых беспорядков на сайте CloudWalk под заголовком «Наблюдение на местном уровне и предотвращение правонарушений представителей проблемных народностей» объясняется, что «система собирает изображения лиц этих людей, а платформа больших данных Fire Eye идентифицирует их, фиксирует время входа и выхода, подсчитывает количество и т.п. и отсылает в полицию предупреждения, помогая ей выполнить задачу контроля проблемных народностей».
Даже бренд созданного CloudWalk продукта «платформа больших данных Fire Eye» кажется заимствованным из очень страшного научно-фантастического романа. Полное отсутствие попыток как-то замаскировать в описании предназначение этой технологии даже на общедоступном корпоративном сайте — яркий показатель того, что китайские власти проводят в отношении уйгуров политику подавления. Это также свидетельство того, что искусственный интеллект, оказавшийся не в тех руках, может использоваться в самых мрачных целях. Подобная опасность не ограничивается Китаем. Практически любую современную технологию распознавания лиц можно превратить в оружие против определенных групп, если настроить систему на выявление таких признаков, как раса, пол, усы и борода или религиозная одежда.
Движение Китая в сторону все более тотальной слежки за своими гражданами может увенчаться полным выполнением планов по внедрению системы социального рейтинга. Эта программа была представлена в 2014 году как способ вознаграждения «благонадежности» граждан, иными словами, она должна «позволить тем, кто благонадежен, беспрепятственно находиться в любом месте под солнцем и сильно осложнить жизнь дискредитировавшим себя». Система социального рейтинга начинается с показателей, характерных для западных коммерческих систем кредитного или потребительского рейтинга, таких как кредитный скоринг или рейтинги Uber и Airbnb. Однако китайская система идет намного дальше и потенциально вторгается практически во все аспекты повседневной жизни, включая учет нарушений закона и любые нежелательные, с точки зрения властей, поступки. Помимо просрочек по счетам или штрафам, это могут быть чрезмерное увлечение компьютерными играми, крамольные посты в соцсетях, связи с неподходящими людьми, разбрасывание мусора или громкая музыка в общественном транспорте, курение в неположенных местах и даже неправильно рассортированный мусор. Социальный рейтинг может также учитывать желательное поведение, скажем получение государственной награды или премии за трудовые успехи, благотворительность, заботу о родственниках или помощь соседям. Рейтинг может коснуться даже сугубо личных решений о покупках, например вознаграждать за покупки, которые считаются позитивными, скажем подгузники для младенцев, и наказывать за чрезмерное приобретение спиртного. Обладатели высоких баллов получают такие бонусы, как скидки при расчетах за отопление, сокращенное время ожидания приема в больницах или государственных учреждениях или более благоприятные возможности трудоустройства. Напротив, обладатели низкого социального рейтинга штрафуются: лишаются возможности купить билет на самолет или поезд, не могут записать детей в лучшие школы или забронировать номер в популярном отеле или на хорошем курорте. Когда такая всеобъемлющая система будет полностью внедрена, она станет чрезвычайно навязчивым механизмом контроля, охватывающим практически все взрослое население Китая. Human Rights Watch обоснованно называет такую систему «ужасающей».
Все это конечная цель, нынешнее состояние далеко от подобной целостности. На практике система социального рейтинга раздроблена на экспериментальные программы городов и местных властей наряду со множеством коммерческих рейтинговых систем, которыми управляют такие корпорации, как Alibaba и Tencent, поддерживающие платформы мобильных платежей. Часть этих программ, в частности в городе Жунчэн, получили широкую поддержку общественности, поскольку являются относительно прозрачными, наказывают только явно криминальные поступки и имеют неоспоримые положительные результаты. Например, водители в Жунчэне стали уступать пешеходам дорогу на перекрестках после того, как стало ясно, что нарушение негативно скажется на их социальном рейтинге. Действительно, китайские граждане получили миллионы отказов в продаже билетов на самолет или скоростной поезд, но в основном потому, что их имена оказались в давно ведущихся черных списках, а не из-за социального балла, сгенерированного алгоритмом. В самый важный черный список, который ведет Верховный народный суд, попадают те, кто не погасил долги, судебные или иные штрафы. Впрочем, почти для всех государственных служб в Китае постоянной проблемой остаются коррупция и непрозрачность. Со временем эти системы неизбежно станут намного более интегрированными, и их бесцеремонность будет усилена распознаванием лиц и другими технологиями на основе ИИ, используемыми в целях слежки и наблюдения за гражданами. В конечном итоге можно ожидать появления совершенно оруэлловской системы всестороннего социального контроля.
Ничто из описанного не ограничивается самим Китаем. Экспорт технологий слежки играет ключевую роль в общей стратегии китайских властей по преобразованию производства в стране и переходу от малодоходных товаров массового потребления к технологическим продуктам более высокой ценности. Китаю принадлежит почти половина глобального рынка технологий распознавания лиц. Во многом это заслуга одной китайской фирмы, телекоммуникационной компании Huawei. По данным Фонда Карнеги за международный мир на сентябрь 2019 года, Huawei продала технологии слежения, в том числе системы распознавания лиц, по меньшей мере 50 странам и 230 городам — намного больше любой другой компании. Для сравнения: ее самые близкие американские конкуренты — IBM, Palantir и Cisco — установили системы менее чем в десятке стран каждая. Такие авторитарные государства, как Саудовская Аравия и Объединенные Арабские Эмираты, особенно заинтересованы в китайской технологии, поскольку устанавливают системы слежки на всей своей территории. Там распознавание лиц зачастую уже элемент повседневности. Я убедился в этом лично в ходе поездки в Абу-Даби в начале 2019 года, где услышал широко освещаемую историю о богатой женщине, потерявшей дорогое кольцо. Она сообщила о потере властям, те немедленно применили программу распознавания лиц к снимкам, сделанным в ходе слежения за соответствующей территорией, и всего через несколько часов после случившегося постучали в дверь человека, подобравшего кольцо.
Продажи оборудования Huawei для слежения часто финансируются кредитами, обеспеченными китайскими властями. Такие страны, как Кения, Лаос, Монголия, Уганда, Узбекистан и Зимбабве, приняли участие в этой программе. В некоторых случаях она осуществлялась в рамках глобальной инициативы Пекина «Один пояс — один путь» по финансированию инфраструктурного строительства почти в 70 странах. Все более важным центром активности становится Африка, где, по некоторым данным, китайские системы распознавания лиц уже приносят эффект. Например, Huawei утверждает, что внедрение ее технологии в столице Кении Найроби и ее пригородах привело в 2015 году к снижению уровня преступности на 46%.
Вопрос последствий внедрения созданных китайскими компаниями технологий для безопасности и прав человека уже вызвал серьезные разногласия между Китаем и Соединенными Штатами. В мае 2019 года на Huawei были наложены торговые ограничения, которые вылились в запрет продавать этой компании американские технологии, в частности программное обеспечение и компьютерные процессоры. Это стало следствием сочетания позиции, занятой США в разгорающейся общей торговой войне, и давно высказываемых опасений, что технология инфраструктуры мобильной связи 5G, продаваемая этой компанией, теоретически может дать китайским властям доступ к коммуникациям в Соединенных Штатах через установленное оборудование. США добились неоднозначных результатов в попытках оказать давление на своих союзников и заставить их также запретить использование оборудования Huawei. Кроме того, компанию обвинили в нарушении торгового эмбарго США в отношении Ирана и в получении неприемлемой поддержки китайского государства.
Пять месяцев спустя Соединенные Штаты включили в черный список еще несколько ведущих китайских стартапов в области искусственного интеллекта, а также 20 управлений полиции и силовых ведомств Китая под предлогом нарушения прав человека в результате применения ими технологии против уйгуров и других этнических меньшинств. Запрет продаж был распространен и на три из четырех китайских «единорогов», занимающихся распознаванием лиц, на iFlytek, специализирующуюся на системах распознавания речи, и две компании, выпускающие видеокамеры и другое оборудование для слежения.
По окончании пандемии коронавируса противоречия между Соединенными Штатами и Китаем значительно усилились. Широко распространилось понимание того, что чрезмерная зависимость от китайского производства может угрожать доступу США к принципиально важному стратегическому сырью, а также медицинским расходникам и лекарствам. Еще до кризиса было ясно, что экономическая синергия и взаимозависимость этих двух стран — явление, которое историк Ниал Фергюсон назвал в 2006 году «Кимерикой», — постепенно разрушается. Если противоречия обострятся и отдаление двух стран продолжится, определяющими факторами этого процесса неизбежно станут конфликт и конкуренция в сфере создания и использования искусственного интеллекта. По мере углубления понимания того, что ИИ является системной и стратегической технологией, перспектива полномасштабной гонки Китая и США приобретает характер реальной опасности.
В феврале 2019 года полиция штата Индиана расследовала преступление, совершенное во время драки двух мужчин в парке. Один из подравшихся выхватил пистолет, выстрелил другому в живот и скрылся. Поскольку прохожий заснял случившееся на мобильный телефон, детективы полиции штата решили загрузить фотографию преступника в новую систему распознавания лиц, с которой экспериментировали. Система сразу же нашла совпадение — стрелок обнаружился на видео, выложенном в соцсети вместе с текстом, где упоминалось его имя. В общем, дело было раскрыто за 20 минут, несмотря на то что подозреваемый прежде не подвергался аресту и даже не имел водительских прав.
Сотрудники полиции подключались к системе распознавания лиц через мобильное приложение, предоставленное таинственной компанией Clearview AI. База фотографий, доступных приложению Clearview, была огромной. Вместо использования официальных фотографий из документов, например паспортов, водительских прав или полицейских ориентировок, компания просто прочесала интернет и проанализировала выложенные в свободный доступ фотографии из разных источников, в том числе из Facebook, YouTube и Twitter. Если система Clearview находила совпадение, приложение показывало ссылки на интернет-страницы или профили в социальных сетях, где было выложено соответствующее фото, что во многих случаях позволяло провести идентификацию мгновенно. Массив данных, собранных Clearview, включал около 3 млрд изображений — в семь с лишним раз больше официальной базы фотографий граждан США, принадлежащей ФБР. Это поразительно, особенно с учетом того, что Clearview AI — крохотная компания, не идущая ни в какое сравнение с китайскими «единорогами», занимающимися распознаванием лиц, и до января 2020 года о ней никто не слышал, кроме правоохранительных органов.
В том месяце The New York Times опубликовала большое журналистское расследование Кашмира Хилла, репортера, пишущего о технологиях, который изучил предысторию компании и впервые пролил свет на ее деятельность. Как выяснилось, компанию Clearview, указавшую на странице в LinkedIn несуществующий нью-йоркский адрес, основал в 2016 году австралийский серийный предприниматель Хоан Тон-Тат. Наряду с другими инвестициями стартап получил $200 000 от венчурного капиталиста из Кремниевой долины Питера Тиля, сооснователя Palantir — компании, занимающейся анализом данных и слежением и имеющей прочные связи с органами безопасности и полицией.
Clearview утверждала, что предоставляет доступ к своей технологии только правоохранительным органам и государственным службам безопасности. Теоретически, однако, ничто не мешало компании со временем сделать свою систему доступной для широкой публики, что грозит почти полной утратой анонимности. Если бы эта технология стала общедоступной, любой человек, пользующийся приложением Clearview, мог бы мгновенно идентифицировать практически кого угодно и когда угодно. Зная имя человека, ничего не стоило бы найти его домашний адрес, место работы и любую другую конфиденциальную информацию. Неизбежным результатом стал бы всплеск преследований, шантажа и публичного шельмования практически за любую неосторожность, а также бесчисленные другие злоупотребления. Иными словами, американский частный сектор вполне способен создать антиутопию вездесущего наблюдения — в потенциале похлеще, чем все замышляемое в Китае, — без какого бы то ни было участия или контроля властей. Некоторых спонсоров Clearview AI такая опасность, похоже, совершенно не пугает. «Я пришел к выводу, что из-за постоянного увеличения объема информации никакой частной жизни скоро не останется, — сказал The New York Times один из первых инвесторов компании. — Законы должны устанавливать, что легально, но запретить технологию невозможно. Разумеется, результатом может стать антиутопическое будущее, но этого не запретить».
Статья в The New York Times вызвала волну споров вокруг компании, а также привлекла внимание хакеров, которым удалось взломать серверы Clearview и получить полный список ее платных клиентов, а также потенциальных заказчиков, пользовавшихся 30-дневной бесплатной пробной версией приложения. Оказалось, в число пользователей Clearview входили важнейшие агентства, в том числе ФБР, Интерпол, Служба иммиграционного и таможенного контроля и офис прокурора Южного района Нью-Йорка, а также сотни управлений полиции по всему миру. Несмотря на заявления компании, что она работает только с официальными правоохранительными органами, приложение использовалось частными компаниями, включая Best Buy, Macy’s, Rite Aid и Walmart. Более того, есть подозрение, что работники предприятий частного сектора используют приложение без санкции работодателей. Расследование BuzzFeed показало, что пять аккаунтов, связанных с Home Depot, выполнили почти 100 поисковых операций с помощью этого приложения, хотя руководство Home Depot заявило, что ничего об этом не знает. Иначе говоря, доступ к технологии уже просачивается в более широкое публичное пространство.
Обнародование этих фактов вызвало немедленную реакцию. В течение нескольких недель Twitter, Facebook и Google направили компании требования прекратить противоправную деятельность — остановить сбор фотографий на их серверах и немедленно удалить изображения, уже попавшие в базу данных. В конце февраля Apple заблокировала приложение Clearview для iPhone, поскольку компания нарушила пользовательское соглашение с Apple, обойдя App Store. Вскоре после этого Clearview объявила, что аннулирует все лицензионные соглашения с частными компаниями и ограничится взаимодействием с правоохранительными ведомствами, но эта мера многим показалась неэффективной. В мае Американский союз защиты гражданских свобод (American Civil Liberties Union, ACLU) подал иск против Clearview, утверждая, что ее технология представляет собой «кошмарный сценарий», который «покончит с частной жизнью, какой мы ее знаем, если эту компанию не остановить». Clearview продолжает работать и утверждает, что она уверена в своем праве прочесывать интернет в поисках фотографий и готова в суде бороться с соцсетями за этот доступ.
Случай с Clearview AI — важное предостережение в отношении не только распознавания лиц, но и искусственного интеллекта в целом. Используя подобную технологию с уникальными возможностями, крохотная кучка специалистов — а то и один человек — способна дестабилизировать социальную или экономическую жизнь практически в невообразимых масштабах, и, как будет показано в следующей главе, такие риски создаются не только технологиями слежения на основе ИИ.
Учитывая масштабы возмущения действиями Clearview, ее амбиции, скорее всего, удастся обуздать. В целом, однако, распространение систем распознавания лиц в западных странах стремительно растет. Демократические общества должны как можно скорее выработать компромисс с учетом ценности и решить этические вопросы, сопутствующие использованию этой технологии. В Лондоне — сегодня он рекордсмен по наблюдению за гражданами среди городов западного мира, имеющий больше камер видеонаблюдения на душу населения, чем Пекин, — системы распознавания лиц устанавливаются с начала 2020 года. По утверждению лондонской полиции, они предназначены исключительно для обнаружения людей из «специального» списка, которые разыскиваются за серьезные преступления. Однако систему также можно использовать для поиска пропавших детей и взрослых.
В Соединенных Штатах около четверти управлений полиции имеют доступ к технологии распознавания лиц. Системы распознавания лиц также широко применяются в аэропортах, где ищут известных террористов или преступников, и все чаще используются для установления личности в ходе проверки безопасности. В большинстве случаев, например в лондонской системе, эта технология идентифицирует лишь тех, кто входит в специальные списки разыскиваемых лиц. Однако мы маленькими шажками подходим все ближе и ближе к тотальному проникновению в частную жизнь, ознаменованному приложением Clearview, когда идентифицировать можно практически любого. ФБР имеет базу, содержащую, согласно анализу Центра приватности и технологий Школы права Джорджтаунского университета, снимки около 117 млн человек — примерно половины взрослого населения Соединенных Штатов. Большинство из них — это фотографии на водительские права, выдаваемые властями штатов, то есть в базу включены все жители, которые получали удостоверения личности, а не только те, кого разыскивают за преступления. Разумеется, согласие людей на включение их фотографий в базу данных не требуется, а добиться исключения из системы невозможно.
Хотя угроза частной жизни совершенно реальна, важно понимать, что при правильном и этичном использовании системы распознавания лиц однозначно полезны. Эта технология позволила задержать множество опасных преступников. В ситуации с Clearview ущерб неприкосновенности частной жизни, очевидно, перевешивает пользу, тем не менее благодаря этому приложению были опознаны опасные уголовники. Особенно эффективным оно оказалось в идентификации насильников и распространителей детской порнографии. Системы распознавания лиц, действующие в общественных местах, также могут быть очень полезными для снижения уровня преступности. Лондонская полиция справедливо отмечает: «Мы все хотим жить и работать в безопасном городе; общественность может не сомневаться в том, что мы будем использовать общедоступную технологию для борьбы с преступностью».
Более того, повсеместное слежение в Китае, которое с западной точки зрения есть не что иное, как откровенное подавление личности, вовсе не обязательно воспринимается отрицательно большинством китайцев. Многие жители Сянъяна искренне одобряют систему выявления нарушителей правил перехода улиц, потому что она эффективна, и на опасных в прошлом перекрестках стало больше порядка. Я лично расспросил немало жителей Китая, и в наших беседах постоянно всплывало общее наблюдение — у людей усилилось чувство защищенности от преступлений, в частности родители стали меньше бояться за маленьких детей. Не следует недооценивать потенциальную важность этого изменения. Ощущение безопасности в том месте, где живешь, высоко ценится большинством и коррелирует с улучшением показателей физического и психического здоровья. Это одна из областей, в которых Китай зачастую обгоняет Соединенные Штаты.
Безопасная среда особенно важна для детей. Джонатан Хайдт, писатель, профессор Нью-Йоркского университета, настойчиво выступает за воспитание «без гиперопеки». Он утверждает, что мы, жители Соединенных Штатов, создали культуру гиперопеки детей, которая лишает их возможности неконтролируемого взаимодействия с миром, позволяющего превратиться в уверенно стоящих на ногах взрослых. Большинству американских родителей сама мысль о том, чтобы отпустить ребенка одного в школу или разрешить ему играть в соседнем парке без присмотра, кажется чудовищной, а в некоторых местах это просто незаконно. Я подозреваю, что маленьких китайцев не слишком заботит всевидящее око оруэлловского государства, зато они знают, что могут самостоятельно пойти в школу и поиграть в парке. Вот будет ирония, если окажется, что у китайской системы слежки есть положительная сторона — хотя бы для самых маленьких граждан страны. Со временем это, возможно, позволит воспитать более предприимчивое и склонное к новаторству поколение. Никто не хочет, чтобы китайская система появилась в Соединенных Штатах, но в тех пределах, в которых технологии слежения на основе ИИ помогают снизить уровень преступности и создать более безопасную среду, нам следует серьезно задуматься о компромиссе.
Итак, технология распознавания лиц способна принести реальную пользу обществу. Принципиально, однако, чтобы она применялась справедливо и одинаково затрагивала все группы населения. В этом и коренится основная проблема. Ряд исследований доказали, что системы распознавания лиц стабильно демонстрируют определенную предвзятость, как расовую, так и гендерную. Разумеется, это далеко от китайских алгоритмов, открыто нацеленных на выявление уйгуров, и связано с преобладанием лиц белых мужчин в наборах данных, на которых обучаются алгоритмы. В одной популярной выборке обучающих данных 83% лиц были белыми и 77% — мужскими. Типичным проявлением этой проблемы является более высокая вероятность «ложноположительного» результата в отношении небелых и женских лиц. Иными словами, в случаях женщин и цветных шансы на ошибочное совпадение возрастают.
В 2018 году Американский союз защиты гражданских свобод (ACLU) сравнил фотографии всех 538 членов Конгресса США с большим набором снимков из архива арестованных. ACLU воспользовался системой Rekognition, доступ к которой можно получить через Amazon Web Service. Она становится все более популярной у отделений полиции благодаря очень низкой цене пользования. ACLU смог провести свой эксперимент всего за $12. Система отметила 28 конгрессменов как тех, кто подвергался аресту и включен в базу фотографий преступников. С учетом того, что человек, подвергавшийся аресту, не может быть избран ни в палату представителей, ни в сенат, все эти результаты были ложноположительным. Больше всего исследователей встревожило даже не количество ошибок как таковое, а выраженный перекос в сторону небелых членов конгресса. Цветные составляют около 20% конгрессменов, но на них пришлось 39% ложных совпадений. Amazon в ответ заявила, что ACLU неправильно настроил систему, поскольку использовал для выявления совпадений доверительный уровень по умолчанию 85%, а не более подходящий — 95%. Однако ACLU отметил, что Amazon не дает инструкций о том, как правильно настроить систему, и что многие управления полиции почти наверняка пользуются настройками по умолчанию.
Намного более масштабное исследование провел в 2019 году Национальный институт стандартов и технологий, входящий в Министерство торговли США. Он оценил 189 систем распознавания лиц, принадлежащих 99 компаниям. Оказалось, что почти во всех случаях уровень ложноположительных результатов был самым низким для европейских лиц и значительно увеличивался для африканских и азиатских. Ожидаемым исключением стали алгоритмы, созданные китайскими компаниями, которые давали самые точные результаты в отношении выходцев из Восточной Азии. Кроме того, системы лучше работали с мужскими лицами по сравнению с женскими, но здесь расхождение было меньше, чем в случае представителей разных рас.
Снижение точности идентификации небелых рас было существенным. Например, для чернокожего вероятность ложноположительной идентификации в 100 с лишним раз выше, чем для белого. Иными словами, афроамериканец в 100 раз сильнее белого рискует быть ошибочно принятым системой за потенциального правонарушителя и, следовательно, привлечь к своей персоне повышенное внимание полиции. Собственно, это цифровая версия сценария из жизни, прекрасно знакомого афроамериканцам, часто сталкивающимся с навязчивым вниманием охранников в универмагах и подозрительностью кассиров.
Казалось бы, эти проблемы можно решить, просто включив в обучающие выборки больше фотографий людей разного этнического происхождения и пола. Однако компаниям, создающим системы распознавания, зачастую трудно найти высококачественные изображения небелых лиц, полученные этически корректно и с согласия людей, иными словами, не надерганные из соцсетей, как это сделала Clearview. Определенные решения этой проблемы сами вызывают вопросы, и в этой области компании, готовые преступить этические нормы, могут получить преимущество. В 2018 году китайская компания-«единорог» CloudWalk заключила с властями Зимбабве сомнительный контракт на создание общенациональной системы распознавания лиц. Соглашение предусматривало предоставление CloudWalk доступа к фотографиям граждан Зимбабве и разрешение обучать на них свои алгоритмы. Систему теоретически можно затем использовать в любой стране мира, естественно, без уведомления граждан Зимбабве.
Подобные вопросы, как и ситуация с Clearview, однозначно свидетельствуют, что технологию распознавания лиц нельзя оставлять в руках компаний нерегулируемого частного сектора. Правовое регулирование и надзор имеют принципиальное значение. Если бы The New York Times не привлекла всеобщее внимание к Clearview, ее технология применялась бы в обществе совершенно бесконтрольно задолго до того, как люди осознали бы угрозу своим личным данным, которую она несет. Как минимум нам нужны четкие нормы, обеспечивающие непредвзятость используемых алгоритмов, а также гарантии против применения систем слежения, угрожающего неприкосновенности частной жизни.
Пока нет общих стандартов, в некоторых местах, например в Сан-Франциско, было решено полностью запретить использование технологии распознавания лиц полицией и местными властями. Однако запрет не распространяется на частный сектор. Как и в Китае, применение системы распознавания лиц для допуска в крупные жилые комплексы становится нормой. Некоторые жители таких комплексов уже подают судебные иски, утверждая, что это является вторжением в их частную жизнь. Розничные магазины также используют эту технологию с незначительными ограничениями. Очевидно, нам необходимо регулирование на государственном уровне, которое определит базовый комплекс правил, обязательных для систем распознавания лиц, как публичных, так и частных. Отношение к приватности, слежке и важности общественной безопасности сильно варьирует, и, скорее всего, отдельные страны, регионы и города придут к разным компромиссам в отношении систем распознавания лиц и других технологий слежения на основе ИИ. В демократических обществах к этому должен вести прозрачный процесс, учитывающий мнение общественности, а технология должна подчиняться комплексу базовых принципов, защищающих права всех сопричастных.
Совершенно реальная возможность состязания в области ИИ между Соединенными Штатами и Китаем, беспрецедентная угроза неприкосновенности частной жизни и новые формы дискриминации лишь немногие опасности, появляющиеся по мере неудержимого развития технологии искусственного интеллекта. В следующей главе мы более широко посмотрим на некоторые риски, неотъемлемые от ИИ, и выясним, какие из них требуют немедленного внимания, а какие являются скорее умозрительными, вероятными лишь в далеком будущем.
Войти с помощью соц. сетей: