Войти в систему
Войти с помощью соц. сетей:
Сегодня программы участвуют в принятии решений, меняющих жизни людей. Появились автоматизированные системы, которые помогают решить, кому дать кредит в банке, рабочее место, кого считать гражданином, а кто заслужил условно-досрочное освобождение. И все же в качестве примера можно рассмотреть ситуации, в которых ценообразующие алгоритмы дают сбои, и оценить возможные риски. Кто придет на помощь, если машины выйдут из-под контроля?
«Amazon совсем сломался» (Amazon is all kinds of broken). Если вы видели этот твит 12 декабря 2014 года и быстро среагировали, то возможно успели заключить несколько исключительных сделок. В течение одного часа Amazon продавал странный набор товаров: телефоны, видеоигры, карнавальные костюмы, матрасы, – по цене в один пенни.
Неожиданное падение цен дорого обошлось продавцам. Товары с обычной стоимостью в 100 фунтов уходили с 99,99 %-ной скидкой. Сотни клиентов ухватились за эту возможность, делая оптовые закупки. Хоть Amazon и быстро отреагировал, отменив множество заказов, он все-таки не смог отыскать все заказы, которые корпоративная автоматизированная система уже отправила со складов. После запуска процесс было трудно остановить. Из-за неполадки в программе ряд индивидуальных трейдеров, работающих в Amazon Marketplace, потерял свои акции на десятки тысяч долларов. Некоторые столкнулись с банкротством.
Автоматизированные процессы уже не просто инструменты в нашем арсенале – они сами принимают решения. Многие системы являются собственными сложными разработками, что выводит их за рамки общественного контроля. Так как нам убедиться в том, что они ведут честную игру?
На повестке дня стоит новая волна проверок алгоритмов, которая смогла бы пролить свет на скрытые процессы и выявить чрезмерную предвзятость или дискриминацию.
Крайне трудно предсказать, как программа поведет себя с реальными данными и в реальных условиях. В 2016 году Microsoft запустила чат-бота Tay. Пару часов спустя алгоритм уже постил в Twitter расистские высказывания, из-за чего компания была вынуждена отключить бота. Масштаб влияния программы тоже зачастую неясен. Некоторые люди клянутся, что сами наблюдали скачки цен на одном сайте, после того как, например, посещали сайт конкурента. Другие же считают, что это не более чем современный городской миф. Такие дебаты лишний раз подчеркивают темную природу современных систем.
Потенциальные последствия распространения алгоритмов могут оказаться разрушительными. Некоторые уверены, что скрытые алгоритмы сыграли свою роль в кризисе субстандартного ипотечного кредитования в 2008 году. В период с 2000 по 2007 год некоторые американские кредиторы (Countrywide Home Loans, DeepGreen и др.) использовали автоматизированные онлайн-приложения для раздачи ипотечных кредитов по беспрецедентной ставке.
Проблема заключалась в том, что множество высокорискованных кредитов предоставлялось без человеческого надзора. От последствий кризиса больше всего пострадали американцы из социальных меньшинств. Автоматизированные процессы анализируют огромные объемы данных для выявления заемщиков с высоким уровнем риска (им начисляются более высокие процентные ставки) и отбирают их для продажи ипотечных услуг. «Многие из этих заемщиков оказались афро- и латиноамериканцами, – рассказывает Сета Гангадхаран из Института открытых технологий – информационно-аналитического центра государственной политики, базирующегося в Вашингтоне. – Алгоритмы сыграли свою роль в этом процессе».
Точная степень вины алгоритмов так и остается неясной. Но банки Wells Fargo и Bank of America с отделениями в разных городах, включая Балтимор, Чикаго, Лос-Анджелес и Филадельфию, поплатились сотнями миллионов долларов за претензии о том, что их субстандартное (высокорисковое) кредитование было предложено непропорционально большому количеству меньшинств. Сам по себе процесс принятия решений, которым крупные банки пользовались для отбора и продажи субстандартных кредитов, не был новым. Но охват и скорость решений, принимаемых самими алгоритмами, оказался в новинку.
Автоматизированные системы все чаще заменяют человеческие суждения в процессе принятия важных решений. В 2012 году Государственный департамент США начал использовать алгоритм случайного выбора победителей в лотерее Green Card. Однако система была подвержена ошибкам: она выдавала визы только тем, кто подал заявку в первый день. Это обнаружил Джош Кролл, ученый из Принстонского университета, который занялся расследованием этого инцидента. Визы, выданные подобным образом, были отменены. Тем не менее перед нами еще одна красочная иллюстрация того, как скрытые алгоритмы оказывают влияние на судьбы людей.
В схожем примере документы, опубликованные Эдвардом Сноуденом, показали, что Агентство национальной безопасности пользуется алгоритмами для определения гражданства США у отдельных людей. Согласно законодательству США, без ордера можно следить за коммуникациями только неграждан США. В отсутствие информации о месте рождения человека или гражданстве его родителей алгоритм АНБ прибегал к оценке других критериев. Поддерживает ли этот человек контакт с иностранцами? Выходил ли в Интернет из другой страны?
В зависимости от того, чем вы занимаетесь в сети, ваше гражданство может в одночасье измениться. «Сегодня вы – гражданин США, а завтра уже стали иностранцем, – рассказывает Джон Чейни-Липполд из Мичиганского университета в Анн-Арбор. – Это категорическая оценка, которая основывается на интерпретации ваших данных, а не на информации из вашего паспорта или свидетельства о рождении».
Ряд особо вопиющих случаев включает в себя предвзятость, прописанную непосредственно в коде и скрытую под личиной математической точности. Взять хотя бы приговор к тюремному заключению. Судьи и адвокаты в ряде штатов США могут воспользоваться онлайн-инструментом – приложением для автоматического вынесения приговора. Система подсчитывает расходы на содержание обвиняемого под стражей и сравнивает их с вероятностью повторного совершения преступления обвиняемым на основании предшествующей криминальной истории, а также поведенческих и демографических факторов. Но такие критерии, как адрес, доход и уровень образования, практически исключают возможность расовой непредвзятости. В 2016 году сайт ProPublica, занимающийся различными расследованиями, проанализировал одну программу из округа Бровард, штат Флорида. В ходе расследования было обнаружено, что за последние два года в качестве наиболее вероятных рецидивистов она в два раза чаще отмечала чернокожих людей.
В большинстве приведенных примеров проблема заключалась не в самих алгоритмах, а в том, что они чрезмерно усиливают существующую неоднозначность данных. Что же нам с этим делать?
Кристо Уилсон из Северо-Восточного университета в Бостоне считает, что Google, Facebook и прочие крупные технологические компании должны расцениваться как общественные услуги, которыми пользуется огромное количество людей. «Учитывая, что у них миллиарды глаз повсюду, они просто обязаны поддерживать себя на более высоком уровне», – говорит он.
По мнению Уилсона, большей надежности автоматизированных систем можно достичь в том случае, если пользователи смогут точно контролировать способы персонализации результатов. Например, нужно исключить из критериев пол, уровень дохода или место проживания. «Таким образом мы сможем изучить, как именно работают данные системы», – уверен он.
Другие эксперты призывают к созданию новой нормативно-правовой базы, регулирующей алгоритмы, – очень похожей на то, что у нас есть, например, в финансовой сфере. В докладе, опубликованном в 2014 году Белым домом, исполнительным органам рекомендовалось уделять больше внимания тому, что алгоритмы делают с собранными и проанализированными данными. Однако для обеспечения контролируемости необходимы независимые аудиторы, которые будут проверять алгоритмы и следить за последствиями их действий. «Мы не можем оставлять решение проблем на усмотрение правительств или промышленности», – говорит Гангадхаран.
Но и независимые аудиторы сталкиваются с серьезными трудностями. Начнем с того, что условия пользования запрещают копаться в собственном (закрытом) программном обеспечении, из-за чего пропадают все возможности для анализа работы систем. В соответствии с американским законом о мошенничестве и злоупотреблениях с использованием компьютеров, такая «слежка» может и вовсе оказаться незаконной. Кроме того, несмотря на существенную важность общественного контроля, информация о корпоративных алгоритмах должна быть защищена от хакеров и конкурентов.
В 2016 году Европейский парламент утвердил Общий регламент по защите данных (GDPR) – новый свод правил, регулирующих личные данные. Он вступил в силу в 2018 году и ввел такое понятие, как «право на объяснение», то есть возможность для граждан Европейского союза (ЕС) ставить под сомнение логику автоматизированного решения и оспаривать его результаты.
«По сравнению с существующими законами GDPR – это однозначно большой скачок вперед», – говорит Брайс Гудман из Института интернета в Оксфордском университете. Новый регламент создает новые правила об использовании данных и четко регламентирует влияние этих правил на деятельность любой компании, работающей с данными граждан ЕС, вне зависимости от нахождения или не нахождения данной компании в Европе. Такой документ имеет большую силу. Организации, нарушающие GDPR, ждут штрафы в размере до 4 % от их годового оборота или 20 миллионов евро, в зависимости от того, какая цифра окажется больше. Также GDPR настоятельно призывает компании предотвращать дискриминацию на основании личных характеристик: расы, религиозных убеждений и состояния здоровья.
Однако обеспечить соблюдение GDPR не так-то просто. Кто может объяснить сложную работу алгоритмов машинного обучения людям, далеким от технической грамотности? И все же нам стоит попробовать. «История учит нас тому, что человеческие решения слишком часто страдают от предвзятости – сознательной или неосознанной, – объясняет Эд Фелтен, заместитель технического директора в Управлении Белого дома по науке и технологической политике. – Создавая автоматизированные системы, мы несем ответственность за их совершенствование».
Один из подходов заключается в создании программ, проверяющих другие программы. Kroll работает над системой, позволяющей аудитору проследить, что алгоритм делает с полученными данными то, что нужно. Другими словами, такая программа обеспечит надежный способ проверки того, что, например, победитель розыгрыша Green Card действительно был выбран случайным образом, или что алгоритм беспилотника, позволяющий избегать столкновения с пешеходами, с одинаковой точностью избегает наездов и на идущих людей, и на людей в инвалидных колясках.
У Сорель Фридлер, ученого Хаверводского колледжа из Пенсильвании, имеется другое мнение. Она надеется устранить все спорные трактовки в алгоритме, поняв неоднозначность, характерную для основных данных. Ее система ищет взаимосвязи между произвольными свойствами (рост, адрес) и демографическими группами (раса, пол). Если такие корреляции приводят к нежелательной предвзятости, то имеет смысл провести нормализацию данных. По ее мнению, это поможет усовершенствовать алгоритмы.
Это подходит для случаев с очевидной дискриминацией, когда системы признаются несправедливыми или противозаконными. Но что делать с разногласиями о том, как именно должна вести себя программа? Некоторые утверждают, что высокоперсонализированная корректировка цен будет обоюдовыгодной и для продавцов, и для покупателей. Другие же отстаивают результаты, полученные автоматизированными сервисами по назначению приговора. Что неприемлемо в одном случае, является совершенно уместным в другом.
В отличие от финансовых систем, здесь не существует стандартной практики по регуляции алгоритмов. Назревает трудный вопрос: как мы хотим, чтобы вели себя подобные системы? Возможно, здесь нам понадобится ИИ.
Войти с помощью соц. сетей: