Имморальный компас

К 2062 году предубеждения в алгоритмах распространятся еще больше, если мы не предпримем никаких действий, чтобы это предотвратить. Существует множество доказательств того, что эта проблема уже стоит перед нами. Посмотрим на один такой пример из США: алгоритм машинного обучения под названием COMPAS, разработанный компанией Northpointe. Он предназначен для того, чтобы на основании исторических данных высчитать вероятность повторного совершения преступления осужденным преступником.

Алгоритм могут использовать службы, чтобы неприспособленные для этого люди не оказались в тюрьме. Думаю, немногие станут оспаривать такое применение технологии. Она способна сделать наше общество лучше и безопаснее. Однако COMPAS используют совсем иначе. Судьи обращаются к нему, чтобы определить срок заключения, размер залога и испытательного срока. Не стоит даже говорить, что здесь все совсем неоднозначно. Может ли программа действительно принимать подобные решения на уровне опытного судьи? Может ли она принять во внимание все детали, которые судья изучил бы, прежде чем определять чье-либо наказание?

Представим ненадолго, что к 2062 году компьютерная программа сможет учитывать различные дополнительные факторы и выносить вердикт лучше судей. Стоит ли нам оставлять на этих должностях людей? Не обязаны ли мы доверить принятие таких решений превосходящим нас в этом деле компьютерам?

А теперь самое интересное. В исследовании 2016 года COMPAS предсказал, что черные подсудимые совершают рецидив своих преступлений чаще, чем это происходит на самом деле. В то же время он показал, что белые подсудимые повторно нарушают закон реже, чем это происходит в реальности. Поэтому из-за предвзятости программы черные люди могут быть несправедливо осуждены на более долгие срок, чем белые. А те белые преступники, которые повторно совершат преступление, окажутся на свободе. Я очень сомневаюсь, что программисты Northpointe намеренно заложили в COMPAS расовые стереотипы. Однако они есть.

Причина этого нам неизвестна. Из коммерческих соображений Northpointe отказался раскрывать детали того, как работает COMPAS. Подобные основания для секретности сами по себе вызывают некоторые вопросы. Однако мы знаем, что программа обучалась на исторических данных, которые, скорее всего, и были полны расовых предубеждений. Раса не была частью входных данных, но почтовый индекс был. Для некоторых мест это почти то же самое, что указание расовой принадлежности. Возможно, дело в том, что в черных районах больше полицейских патрулей, а потому вероятность задержания черного правонарушителя выше? Возможно, полицейские руководствуются расовыми стереотипами и чаще останавливают черных? Возможно, причина совершения многих преступлений – бедность, а потому, основываясь на почтовом индексе, мы просто наказываем бедность?

Как только мы обнаружили подобную предвзятость машины, мы можем постараться ее устранить. Мы должны определить, в чем причина расовой предубежденности прогнозов программы машинного обучения, а затем научить ее избегать такой предвзятости. Даже если нам это удастся, вопрос о том, стоит ли доверять такие решения компьютерам, останется спорным. Лишение свободы – одно из самых сложных решений, которые принимает общество. К этому нужно относиться серьезно. Мы отказываемся от важной части нашего естества, когда передаем эту функцию машине.

Несмотря на большое количество негативных отзывов о COMPAS, ошибки этой программы продолжают повторяться. В 2017 году полиция на северо-востоке Англии начала использовать машинное обучение, чтобы определить, стоит ли держать подозреваемого под стражей. Инструмент оценки риска ущерба использует полицейские данные, а также историю правонарушений подозреваемого и выборочную демографическую информацию, чтобы определить степень вероятности, с какой подозреваемый повторно совершит преступление, если окажется на свободе. И опять один из основных факторов, с помощью которых формулируется прогноз, – почтовый индекс.

Алгоритмы также практикуют в некоторых других похожих сферах. Совет по условно-досрочному освобождению в Пенсильвании с 2010 года использует прогнозы алгоритмов машинного обучения, чтобы лучше определиться с решением о досрочном освобождении. Полиция метро в Лондоне применила программное обеспечение, разработанное компанией Accenture, чтобы вычислить, кто из членов банд с большей вероятностью может совершить серьезное преступление. Полицейские департаменты в нескольких американских штатах, включая Калифорнию, Вашингтон, Южную Каролину, Аризону, Теннесси и Иллинойс, пользуются программами, которые прогнозируют наиболее вероятное время и место совершения преступления. Во всех этих случаях никто не учитывает предвзятость программ.

Алгоритмическая дискриминация

Как мы уже видели, одна из причин, по которым алгоритмы могут быть предвзятыми, – это то, что они учатся на предвзятых данных. COMPAS был запрограммирован, чтобы спрогнозировать, кто совершит преступление повторно, однако не обучался на данных о преступниках, совершивших рецидив. Мы не знаем, кто повторит преступление. Некоторые люди совершают преступление повторно, но их не ловят; мы знаем только о тех, кого арестовали и осудили. Таким образом, эти данные могут содержать расовые и другие предубеждения, которые отражаются и на прогнозах программы.

Джой Буоламвини, научный сотрудник MIT Media Lab, основала Лигу алгоритмической справедливости, чтобы бросить вызов предвзятости программного обеспечения, созданного для принятия решений. Будучи афроамериканкой, она обнаружила, что алгоритмам компьютерного зрения не удается ее распознать; она даже надевала белую маску, чтобы компьютер ее идентифицировал. Она считает, что предвзятые данные – корень проблемы.

В сообществе тех, кто занимается программами для распознавания лиц, есть понятие контрольных данных, которые предназначены для того, чтобы сравнивать работу различных алгоритмов. Есть мнение, что если с контрольными данными все в порядке, то и насчет остального волноваться не стоит. Однако мы не ставим под вопрос репрезентативность контрольных данных, а потому, если с ними все в порядке, мы обманываемся, думая, что это признак прогресса. Сейчас это кажется очевидным, но во время работы в лаборатории вы тестируете всё на скорую руку – быстро всё доделываете, потому что у вас есть дедлайн, и я понимаю, откуда берутся эти несовершенства. Сбор данных, особенно разнообразных, – задача не из простых.

Один из самых используемых наборов контрольных данных в распознавании лиц называется «Помеченные лица в дикой природе». Он был опубликован в 2007 году и содержит более тринадцати тысяч изображений лиц, взятых из новостных статей в Сети. Учитывая время публикации, самое часто встречающееся лицо в этом наборе – лицо Джорджа Буша. В нем 77,5 % мужчин и 83,5 % белых. Очевидно, что люди в новостях не очень репрезентативны по отношению к общему населению.

Тем не менее существуют более разнообразные наборы изображений, используемых компьютером. Например, «Десятитысячная база взрослых лиц США», выпущенная в 2013 году, содержит 10 168 лиц и разработана для точного отображения демографической ситуации в США (по таким критериям, как возраст, раса и пол). Facebook имеет в своем распоряжении миллиарды фото для собственного исследования Deep Face: почти каждый зарегистрировавшийся на Facebook загружает фотографии. Facebook действительно большая «книга лиц». Так что неясно, почему распознавание лиц не двигается с места из-за отсутствия разнообразных наборов данных для обучения.

Есть и другой простой фактор, который может объяснить, почему эти предубеждения продолжают существовать, и который может вызвать неоднозначные эмоции у благонамеренных либералов. Существуют доказательства того, что люди лучше распознают представителей своей этнической группы, нежели другой. Это называется «эффект перекрестных рас». Подобное наблюдается также и внутри разных возрастных групп. Возможно, алгоритмы распознавания лиц копируют этот принцип. В качестве решения можно программировать алгоритмы для разных расовых и возрастных групп.

Похожий феномен существует и в распознавании голоса. Для точности в распознавании мужских и женских голосов нужно разное программное обеспечение. Так же и в распознавании лиц расовая предвзятость может быть обусловлена не предвзятыми данными, а тем, что для распознавания разных рас нужны разные программы.