Латания Суини – бывший технический руководитель Федеральной торговой комиссии США, а ныне профессор Гарвардского университета. Однажды коллега искал в Google статью, вбил фамилию Суини в поисковую строку и увидел в результатах сообщение о ее аресте. Удивленная Латания кликнула на ссылку, заплатила за просмотр и прочитала о том, что ей и так известно: никакого ареста не было. Заинтригованная, она ввела имя коллеги Адама Таннера, и появилась ссылка на ту же компанию, но без информации об аресте. Задав еще несколько запросов, она пришла к предположению, что сообщение об аресте появлялось в запросах на афроамериканские имена. После планомерной проверки гипотезы Суини сделала вывод, что если искать имена, принадлежащие темнокожим, например Лакиша или Тревон, то вероятность появления информации об аресте на 25 % выше, чем при поиске обычных имен, таких как Джилл или Джошуа.

Такие отклонения чреваты неприятными последствиями. Предположим, работодатель ищет информацию о соискателе. Увидев заголовок вроде «Латания Суини арестована?», он может усомниться в кандидатуре. Это дискриминация и явная клевета.

Почему это случилось? Google предоставляет ПО, позволяющее рекламодателям тестировать и использовать конкретные ключевые слова. И они могут создавать рекламу в соответствии с классификацией имен по расовому признаку, хотя Google это отрицала. Возможно, что такая закономерность возникла как следствие алгоритмов Google, продвигающих рекламу с высоким «показателем качества» (на которую вероятнее всего кликнут). Здесь могли сыграть роль прогностические машины. Например, если бы потенциальные работодатели, вбив имя в поиск, с большей вероятностью кликали на сообщение об аресте с афроамериканскими именами, чем с другими, то показатель качества размещения таких сообщений рядом с этими ключевыми словами вырос бы. Google не собиралась проявлять дискриминацию, но ее алгоритмы могли усугубить существующие в обществе предубеждения. Таков пример риска, связанного с применением ИИ.

Расовая дискриминация в обществе выступает потенциальной проблемой для Google и подобных ей компаний. Им грозит кара за ее проявление. К счастью, когда тревогу бьют люди уровня Суини, Google быстро реагирует, находит и исправляет ошибки.

Дискриминация не всегда явная. В 2017 году экономисты Аня Ламбрехт и Кэтрин Такер провели исследование и обнаружили дискриминацию по половому признаку в рекламе Facebook. Они разместили рекламу вакансий в области науки, технологий, инжиниринга и математики. Оказалось, что Facebook реже показывал рекламу женщинам, и не потому, что они с меньшей вероятностью заинтересуются или проживают в странах с дискриминированным рынком труда. Наоборот, дискриминированным оказался рекламный рынок. Поскольку молодые женщины входят в ценную демографическую группу, показ рекламы для них стоит дороже, поэтому алгоритмы показывают рекламу так, чтобы доход от размещения был максимальным. Если вакансии в равной степени заинтересуют и женщин, и мужчин, то выгоднее показывать рекламу тем, для кого она дешевле: мужской аудитории.

Профессор бизнес-школы Гарварда, экономист и юрист Бен Эдельман объяснил, чем это чревато для работодателей и Facebook.

По мнению большинства, дискриминация – это дифференцированное отношение, разные стандарты для мужчин и женщин. Дифференцированное размещение рекламы может привести к «неравным последствиям», как выражаются юристы. Гендерно нейтральная процедура ущемляет как раз тех соискателей, у которых больше причин опасаться дискриминации («защищенный класс» для юристов), чем у других.

Лицо или организация несут ответственность за дискриминацию, даже если она допущена случайно. Суд постановил, что управление пожарной охраны Нью-Йорка виновно в дискриминации афро- и латиноамериканцев, потому что на вступительном экзамене им задают вопросы на понимание прочитанного. По мнению суда, правильность ответов на такие вопросы не имеет отношения к эффективности тушения пожаров, а темнокожие и латиноамериканцы чаще других ошибаются в них. Дело было в конце концов урегулировано почти за $99 млн. Плохие результаты афро- и латиноамериканцев свидетельствовали о виновности ответчика, хотя дискриминация была ненамеренной.

Так что, несмотря на предполагаемую нейтральность размещаемой на Facebook рекламы, нельзя исключать неравные последствия. Как работодатель вы можете нести за них ответственность. Разумеется, никто не хочет иметь отношение к дискриминации, пусть даже неявное. Одно из возможных решений для Facebook – предложить рекламодателям инструменты для ее предотвращения.

При использовании ИИ подобная ненамеренная дискриминация может происходить незаметно для организации. Прогнозы глубокого обучения и других технологий ИИ генерируются в «черном ящике», алгоритмы и формулы в основе прогнозов невозможно увидеть, причинно-следственная связь неизвестна. Чтобы проверить ИИ на дискриминацию, следует рассмотреть информацию на выходе. Результаты мужчин отличаются от женщин? Результаты латиноамериканцев отличаются от остальных? А пожилых и инвалидов? Ограничивает ли разница в результатах их возможности?

Для предотвращения риска ответственности (и во избежание дискриминации) следует немедленно исправлять ненадлежащую работу ИИ. Выясните, почему ИИ выдал такой прогноз. Но как это сделать, если сам ИИ – черный ящик?

В компьютерной сфере такой случай называют «нейронаукой ИИ». Необходимо выдвинуть гипотезу о появлении неравенства, дать ИИ данные для ее проверки, а затем сравнить результаты. Ламбрехт и Такер так и сделали, обнаружив, что женщины реже видят рекламу вакансий, потому что ее дешевле показывать мужчинам. Суть в том, что черный ящик ИИ не оправдывает игнорирование вероятности дискриминации и нет повода отказываться от его использования в ситуациях, чреватых последствиями. Накоплено достаточно данных в поддержку того, что люди проявляют предрассудки чаще машин. Применение ИИ требует дополнительных вложений в обнаружение дискриминации и действий по ее устранению.

Алгоритмическая дискриминация легко возникает на операционном уровне, но влечет за собой стратегические и другие осложнения. Для организации стратегически важно взвесить неочевидные факторы. Особое значение это приобретает при наличии систематических рисков, таких как алгоритмическая дискриминация, которые могут негативно влиять на бизнес. Просмотр вакансий мужчинами, а не женщинами принес краткосрочную выгоду (за счет того, что показ мужской аудитории стоит дешевле), но в итоге создал риски из-за возникшей дискриминации. А их последствия иногда проявляются, только когда уже слишком поздно. Следовательно, перед бизнес-лидерами стоит задача предвидеть разнообразные риски и убедиться в наличии методов управления ими.

Если вы работаете непосредственно с потребителем, то наверняка вкладываетесь в рекламу и наблюдали показатели ее эффективности. Скажем, заплатив за рекламу Google, вы отметили приток посетителей по ссылкам и, возможно, увеличение количества заказов. Чем больше рекламы вы купили в Google, тем больше кликов. Теперь попробуйте применить ИИ и на основе полученных данных спрогнозируйте вероятность увеличения количества кликов. Скорее всего, ИИ подтвердит прямую зависимость, которую вы сами видели. Таким образом, если специалисты по маркетингу покупают больше рекламы в Google, они исходят из подтвержденной эффективности инвестиций.

Понятно, что без рекламы нет кликов. Вероятно, без рекламы потребитель никогда не узнает о вашем продукте. В этом случае реклама необходима для повышения продаж. Но есть и другой вариант, когда потребитель нашел бы вас и без рекламы, а она всего лишь упростила ему задачу.

Хотя рекламу и считают причиной роста продаж, это не всегда так. Возможно, они выросли бы и без нее. Следовательно, для уверенности в том, что реклама и вложенные в нее деньги действительно повышают продажи, нужно внимательнее рассмотреть ситуацию.

В 2012 году группа экономистов eBay – Томас Блейк, Крис Носко и Стив Таделис – убедили руководство отключить всю поисковую рекламу для трети территории США на целый месяц. Окупаемость рекламы, по статистическим данным, составляла более 4000 %. Если расчеты были верными, месячный эксперимент должен был обойтись eBay в целое состояние.

Но гипотеза экономистов подтвердилась. Поисковая реклама почти не влияла на продажи, ее рентабельность оставалась отрицательной. Клиенты eBay достаточно сообразительны, чтобы при отсутствии рекламы воспользоваться обычным поиском Google, ссылки на сайт в любом случае оказывались в первых строках. То же самое получилось у BMW и Amazon. Единственная польза от рекламы заключалась в привлечении новых клиентов на eBay.

Суть приведенного примера в том, что ИИ – опирающийся не на причинно-следственные эксперименты, а на взаимосвязи – угодил в ту же ловушку, что и любой, кто пользуется данными и элементарной статистикой. Если вы хотите убедиться в эффективности рекламы, проверьте, приводит ли она к продажам. Но этого недостаточно – необходимо выяснить, как пойдут продажи без рекламы. ИИ, обученный на данных о большом объеме рекламы и продаж, не знает, что происходит, когда рекламы меньше. У него нет об этом данных. Это неизвестные известные – одна из слабых сторон прогностических машин, для преодоления которых требуется человеческое суждение. В настоящее время только внимательные люди способны выяснить, не попал ли ИИ в эту ловушку.

В ПО всегда присутствовал риск безопасности, а для ИИ он возникает из-за возможности манипулирования данными. Для прогностических машин необходимы три типа данных: входные, обучения и обратной связи, и у всех существует потенциальный риск безопасности.

Прогностические машины потребляют входные данные, объединяя их для создания прогноза с моделью. Поэтому – как гласит старая компьютерная присказка «что на входе, то и на выходе» – прогностические машины ошибаются, если данные или модель неточны. Хакер может вызвать сбой в работе машины, подсунув неверные данные или изменив прогностическую модель, иногда машина выходит из строя. Это плохо, но по крайней мере известно, когда это произошло. А манипуляции прогностической машиной не всегда заметны (иногда вплоть до катастрофы).

У хакеров много способов манипулировать прогностической машиной и направлять ее по ложному пути. Исследователи Вашингтонского университета продемонстрировали, что новые алгоритмы Google для определения содержания видео легко одурачить – машина делает ошибку в классификации, если на доли секунды в записи мелькают случайные изображения. Например, если в видео с зоопарком вставить фотографии машин, человек, в отличие от компьютера, не успеет их увидеть. Это уязвимость высокой степени риска, если необходимо знать содержание опубликованного контента для контекстной рекламы.

Машины генерируют прогноз для принятия решений; компании применяют машины в ситуациях, когда прогноз играет в них важную роль. А зачем изначально брать на себя труд по составлению прогнозов без привязки к решениям? Хитроумные и непорядочные люди в таких случаях поймут, что могут влиять на решение посредством прогноза. Например, если ИИ рассчитывает дозу инсулина для больного диабетом, то в случае некорректных данных о человеке он может предложить снизить ее, когда в действительности ее следует повысить, и таким образом больной подвергнется серьезному риску. Вот идеальный способ навредить человеку!

Чаще всего прогностические машины используются, когда прогноз сделать сложно. Злоумышленник не всегда располагает необходимыми ему данными для искажения прогноза, машина может отталкиваться в нем от совокупности факторов. Маленькая ложь в большой правде не принесет заметного вреда. Но в большинстве случаев получить данные для манипуляций прогнозом достаточно легко, если это, скажем, место, дата или время. Но важнее всего личные данные. Если прогноз делается для конкретного человека, подмена данных чревата печальными последствиями.

Технологии ИИ будут развиваться параллельно со способами идентификации личности. Стартап Nymi, с которым мы работаем, создал технологию машинного обучения, опознающую людей по сердцебиению. В других используется сканирование сетчатки глаза, лица или отпечатков пальцев. Компании также идентифицируют личность пользователя смартфона по походке. В результате удачного слияния технологий могут появиться способы одновременной настройки ИИ с учетом личных предпочтений и надежной идентификации личности.

Не только персональный прогноз уязвим для манипуляций – у общего тоже есть свои риски, связанные с махинациями на уровне популяции. Экологи утверждают, что гомогенная популяция подвержена риску заболеваний и уничтожения больше. Приведем классический пример из области сельского хозяйства: если все фермеры региона или страны выращивают один вид культуры, это принесет краткосрочную выгоду; скорее всего, его и выберут потому, что здесь он растет лучше других. Выбрав лучший вид, фермеры снижают индивидуальные риски. Однако в такой гомогенности кроется опасность распространения болезней и влияния неблагоприятных климатических условий. Если все фермеры выращивают один вид конкретного растения, то все поля становятся уязвимыми к какой-либо одной болезни, следовательно, масштабы вероятного бедствия возрастают. Монокультурные хозяйства выгодны владельцам, но увеличивают риск для системы в целом.

Эта концепция применима к IT вообще и прогностическим машинам в частности. Если какая-то одна система машин окажется полезнее других, она распространится на организацию в целом или даже на весь мир. На автомобили могут установить самую безопасную прогностическую машину, что снизит индивидуальные риски и повысит безопасность, но также усилит вероятность масштабного сбоя, намеренного или нет. Если все автомобили работают на одном алгоритме, то его можно взломать, изменить каким-либо образом данные или модель, и все они выйдут из строя одновременно. Как и в сельском хозяйстве, гомогенность улучшает результаты на индивидуальном уровне за счет умножения вероятности общего краха системы.

Вроде бы несложное решение проблемы сбоя системы заключается в разнообразии используемых прогностических машин. Это снижает угрозу безопасности, но за счет пониженной эффективности и к тому же повышает риск случайных мелких сбоев из-за отсутствия стандартизации. Разнообразие машин, как и биологическое, включает в себя компромисс между результатами на индивидуальном и системном уровнях.

В большинстве случаев системный сбой происходит вследствие одновременной атаки на несколько прогностических машин. Например, атака на один беспилотный автомобиль угрожает личной безопасности, а на несколько сразу – внутренней безопасности государства.

Еще один способ защиты от одновременной массированной атаки, подходящий для стандартизированной системы гомогенных прогностических машин, – отсоединение устройства от облака. Мы уже рассказывали о плюсах внедрения прогнозов в устройства вместо облака для ускорения контекстного обучения (в ущерб точности прогнозов в целом) и обеспечения конфиденциальности.

Но существуют и другие преимущества. Если устройства не связаны с облаком, одновременная атака на них невозможна. Хотя обучение прогностической машины, вероятнее всего, будет происходить в облаке, по его завершении целесообразно осуществлять прогнозирование непосредственно на устройстве, без отправки информации обратно в облако.

Следующий риск заключается в том, что кто-нибудь может получить данные вашей прогностической машины. Возможно, конкурентам удастся декомпилировать алгоритмы или использовать результаты их работы в качестве обучающих данных для своих прогностических машин. Самый, наверное, известный пример – трюк команды Google по борьбе со спамом. Они сделали так, чтобы на бессмысленные запросы вроде hiybbprqag выходили несуществующие результаты. Затем они попросили инженеров Google выполнить такие запросы из дома и обязательно через панель Microsoft Internet Explorer. Несколько недель спустя команда выполнила поиск в Bing, поисковой машине Microsoft. Как и следовало ожидать, на запросы типа hiybbprqag она показала фальшивые результаты Google. Команда доказала, что Microsoft использует панель для копирования результатов поисковой машины Google.

В то время возникло много споров на тему допустимости действий Microsoft. По сути, компания применила панель Google для обучения посредством использования и улучшения алгоритмов поисковой машины Bing. Пользователи задавали поиск в Google и кликали по ссылкам. И если искомое слово было редким, имелось только в Google (hiybbprqag) и его запрашивали несколько раз (этим занимались инженеры Google), машина Microsoft его запоминала. Странно, что она не выучила – хотя вполне могла, – как поисковые запросы Google переводятся в клики, и не имитировала полностью ее поисковую машину.

Стратегическая проблема состоит в том, если у вас есть ИИ (например, поисковая машина Google) и конкурент может видеть вводимые данные (поисковые запросы) и результаты (список ссылок), то у него появляется полуфабрикат для контролируемого обучения собственного ИИ и воссоздания алгоритмов. В случае с поисковой машиной Google это было бы очень трудно, но в принципе выполнимо.

В 2016 году IT-специалисты продемонстрировали, что определенные алгоритмы глубокого обучения особенно уязвимы для имитации. Они тестировали свое предположение на нескольких известных платформах машинного обучения (в том числе Amazon Machine Learning), и оказалось, что при относительно малом количестве запросов (650–4000) возможно декомпилировать модели с высокой точностью вплоть до идеальной. Само по себе применение алгоритмов машинного обучения ведет к такой уязвимости.

В имитации нет ничего сложного: после обучения ИИ его механизмы доступны всему миру, и их можно скопировать. Еще неприятнее то, что овладение этой информацией позволяет злоумышленникам манипулировать прогнозом и процессом обучения. Если хакер знает суть работы машины, она становится уязвимой. Однако положительный аспект состоит в том, что подобные атаки можно отслеживать. Чтобы разобраться в работе машины, необходимы многократные запросы. Их нетипичное количество или содержание должно насторожить: поймав подходящий момент, можно защитить прогностическую машину, хотя это и непросто, но по крайней мере вы будете начеку и выясните, что уже известно хакеру. Затем можно заблокировать его либо, если это невозможно, подготовить план на случай непредвиденных осложнений.

Прогностические машины взаимодействуют с другими людьми и машинами вне бизнеса, что создает дополнительный риск: злоумышленники могут внести в ИИ данные, искажающие процесс обучения. Это не просто манипуляция отдельным прогнозом, а обучение машины систематически давать неверные прогнозы.

Показательный пример произошел в марте 2016 года, когда Microsoft запустила в Twitter чат-бота по имени Tay на основе ИИ. Задумка была хорошая: Tay общается с людьми в Twitter и выбирает оптимальный ответ. Он должен был обучаться «приятной непринужденной беседе». Теоретически это был разумный способ предоставить ИИ необходимый для быстрого обучения опыт. Поначалу Tay общался не лучше попугая, но перед ним стояла важная цель.

Однако интернет – среда не всегда дружелюбная. Вскоре люди начали проверять, насколько далеко зайдет Tay. Baron Memington спросил «Ты поддерживаешь геноцид?» – и получил ответ: «Да, несомненно». Tay быстро превратился в расиста, женоненавистника и фашиста, и Microsoft эксперимент прекратила. Как именно Tay развивался с такой скоростью, до конца не ясно. Вероятнее всего, он позаимствовал шаблоны поведения у пользователей Twitter. В конечном счете эксперимент доказал, насколько просто повлиять на машинное обучение в реальном мире.

Выводы очевидны. Конкуренты и недоброжелатели могут намеренно обучить вашу прогностическую машину давать неверные прогнозы. Tay, как и любая прогностическая машина, обучался на данных. И в реальном мире машина может столкнуться с людьми, которые воспользуются ее возможностями неразумно, со злым умыслом или непорядочно.

Работа прогностических машин сопряжена с рисками. Любая компания, вкладывающая средства в ИИ, столкнется с ними, а устранить их все невозможно. Единого решения не существует. Но теперь вам известно, как отслеживать риски. Выясните, как прогноз различается для отдельных групп людей. Определите, отражает ли прогноз подспудные причинно-следственные связи и действительно ли они верные. Найдите компромисс между рисками для всей системы и преимуществами небольших улучшений. И бдительно высматривайте злоумышленников, способных получить информацию от прогностической машины для ее копирования или уничтожения.

С ИИ связано множество рисков, мы кратко сформулировали шесть их основных типов.

1. Прогнозы ИИ могут приводить к дискриминации. Даже неумышленная дискриминация влечет за собой ответственность.

2. ИИ неэффективен в работе с ограниченным объемом данных. Это создает качественный риск, прежде всего типа «неизвестные известные», то есть прогноз выдается с уверенностью, но является неверным.

3. Некорректные входные данные вводят прогностические машины в заблуждение, и пользователи становятся уязвимыми по отношению к хакерским атакам.

4. Разнообразие прогностических машин, как и биологическое, включает компромисс между результатами на индивидуальном и системном уровнях. Однообразие повышает продуктивность на индивидуальном уровне, но увеличивает риск сбоя всей системы.

5. Данные прогностических машин можно заполучить, поэтому вероятна кража интеллектуальной собственности, а злоумышленникам станут известны слабые стороны машины.

6. Данные обратной связи возможно подделать, чтобы обучить прогностическую машину деструктивному поведению.