Местный банкир раньше был важной птицей в вашем городке или пригороде. Он контролировал деньги. Если вам была нужна новая машина или ипотека, вы надевали свой лучший выходной костюм и наносили визит в банк. И банкир, ваш сосед и член вашего сообщества, уже знал много подробностей вашей жизни. Во-первых, как часто вы ходите в церковь (и ходите ли вообще). Во-вторых, сколько столкновений с законом было у вашего старшего брата. В-третьих, как ваш начальник (и по совместительству его партнер по гольфу) отзывается о вас как о работнике. И, естественно, ему были известны ваша раса и ваше этническое происхождение, а также он видел цифры в вашей заполненной заявке.
Первые четыре фактора очень часто влияли – осознавал это банкир или нет – на то, какое решение примет банк. Всегда была большая вероятность, что банкир скорее почувствует доверие к людям своего круга. Это свойственно человеческой природе. Но это также означало, что для миллионов американцев ситуация до наступления цифровой эры была столь же тяжелой, как в описываемую мной эпоху ОМП. Аутсайдеры, в число которых входили представители этнических меньшинств и женщины, постоянно дискриминировались. Им приходилось собирать внушительное финансовое портфолио, после чего предстояло найти непредубежденного банкира.
Это было ужасно несправедливо. И тогда появился алгоритм, который улучшил ситуацию. Математик Эрл Айзек и его друг инженер Билл Фэйр в 1956 году разработали модель для оценки степени риска невозврата кредита, названную ими FICO. Скоринг FICO основывался на формуле, которую рассчитывали, исходя исключительно из финансовых показателей заемщика: в основном формула опиралась на количество и размер прежде взятых кредитов и историю их выплаты. Результат никак не учитывал расовую принадлежность. Это пошло на пользу банковской индустрии, потому что предсказывало степень риска гораздо точнее и в то же время открывало двери миллионам новых клиентов.
Скоринги FICO, конечно, до сих пор существуют. Их используют бюро кредитных историй, такие как Experian, Transunion и Equifax, – каждое из них поставляет разные источники информации в модель FICO и высчитывает свои результаты. Эти результаты имеют много положительных и не относящихся к ОМП характеристик. Во-первых, в них есть ясные петли обратной связи. Кредитные компании видят, какие заемщики не возвращают кредиты, и могут связать эти цифры с собственными результатами. Если заемщики с высоким скорингом вдруг начинают не возвращать кредиты чаще, чем предсказывает модель, FICO и кредитные агентства могут скорректировать модель и настроить ее точнее. Все это – вполне разумное использование статистики.
Кроме того, кредитный скоринг относительно прозрачен: сайт FICO, например, предлагает простые инструкции по улучшению собственной оценки платежеспособности – сократить долг, делать платежи вовремя, перестать заказывать новые кредитные карты. Столь же важно и то, что индустрия кредитного скоринга регулируется. Если у вас возникают вопросы по поводу оценки вашей платежеспособности, вы имеете законное право затребовать ваш кредитный отчет, который включает в себя вашу ипотечную историю, ваш общий долг и процент доступного кредита, который вы используете. Процесс может быть мучительно медленным, но если вы найдете ошибки, вы сможете настоять на том, чтобы их исправили.
Со времен появления модели Фэйра и Айзека использование скоринга невероятно расширилось. Сегодня нас изучают и обсчитывают всеми возможными способами: специалисты по статистике и математики объединяют разрозненные данные, от почтовых индексов и любимых страниц в интернете до недавних покупок. Многие из их псевдонаучных моделей пытаются предсказать нашу кредитоспособность, выдавая каждому из нас так называемые e-score. Эти числа, которые мы редко видим, открывают кому-то из нас двери – в то время как перед другими их захлопывают. В отличие от скоринга FICO, который они напоминают, e-scores произвольны, непостижимы, нерегулируемы и зачастую несправедливы. Короче говоря, они представляют собой ОМП.
Отличным примером может служить находящаяся в Вирджинии компания Neustar. Она представляет компаниям сервисы по нахождению клиентов, включая сервис, который помогает управлять звонками, поступающими в колл-центры. В мгновение ока эта технология обрабатывает доступные данные о звонящих и распределяет их по иерархической лестнице. Те, кто оказывается наверху, считаются более потенциально прибыльными – и их быстро соединяют с оператором. Те же, кто оказывается внизу списка, или гораздо дольше висят в режиме ожидания, или перебрасываются в находящийся на аутсорсинге центр с перегруженным трафиком, который обслуживается в основном автоответчиком.
Компании, выпускающие кредитные карты, такие как Capital One, осуществляют подобные моментальные подсчеты, когда кто-то заходит на их сайт. Они часто могут получить доступ к данным о посещаемых потенциальным клиентом сайтах и его покупках, а это дает массу важной информации. Если человек изучает в сети «ягуары» последних моделей, существует большая вероятность, что он богаче, чем тот, который ищет на Carfax.com подержанный «форд торос» 2003 года выпуска. Большинство скоринговых систем также определяют местоположение посетителя сайта. Когда эта информация объединяется с информацией по недвижимости, можно уже делать выводы о финансовом положении. Клиент, который использует компьютер на Бальбоа-Террас в Сан-Франциско, намного перспективнее, чем тот, кто находится по другую сторону залива, в Восточном Окленде.
Существование e-scores не должно вызывать удивления. Мы уже видели модели, в которых загружаются подобные сведения, чтобы бомбардировать нас хищнической рекламой или определить, с какой вероятностью мы можем украсть машину. К лучшему или к худшему, они направили нас в школу (или в тюрьму) и на работу, а затем оптимизировали на рабочем месте. Теперь, когда, возможно, для нас настало время купить дом или машину, для финансовых моделей совершенно естественно использовать тот же кладезь информации, чтобы оценить нас.
Но подумайте об отвратительных петлях обратной связи, которые создают e-scores. Есть очень большая вероятность, что у потенциальной заемщицы из Восточного Окленда этот балл будет низким. Многие люди в этом районе не в состоянии выплачивать кредиты. Поэтому предложение по кредитной карте, которое появится на ее экране, будет ориентировано на группу населения с более высоким риском. Это означает менее доступный кредит и более высокие процентные ставки – и это для тех, кто и так нуждается.
Большая часть хищнической рекламы, которую мы уже обсуждали, включая рекламу кредита «до зарплаты» и коммерческих колледжей, генерируется с помощью таких e-scores. Они представляют собой эрзац кредитных оценок. Учитывая то, что компаниям запрещено по закону использовать кредитные оценки для рыночных целей, они обходятся этой бледной заменой.
В этом запрете есть определенная логика. В конце концов, наша кредитная история включает в себя очень личную информацию, и имеет смысл контролировать к ней доступ. Однако в результате компании ныряют в по большей части не регулируемые источники данных, такие как история посещений сайтов и геотеги, для того чтобы создать параллельный рынок информации. В процессе они могут по большей части избежать внимания правительства. Затем они измеряют успех по достижениям в эффективности, притоке наличности и прибыли. За немногими исключениями такие понятия, как справедливость и прозрачность, не входят в их алгоритмы.
Давайте сравним на секунду эту ситуацию с размышлениями банкира пятидесятых годов. Сознательно или нет, этот банкир взвешивал различные данные, которые имели совсем никакое или небольшое влияние на способность потенциального заемщика выплатить ипотеку. Он смотрел на посетительницу, сидевшую напротив него, видел ее расовую принадлежность и делал из этого выводы. Криминальное прошлое ее отца могло быть использовано против нее, в то время как регулярное посещение церкви, наоборот, считалось плюсом.
Все эти данные были прокси. В поисках ответа на вопрос о финансовой ответственности посетительницы банкир мог бы бесстрастно исследовать цифры (как некоторые образцовые банкиры, несомненно, и поступали). Но вместо этого он проводил корреляцию с расой, религией и семейными связями. Тем самым банкир избегал изучения заемщицы как конкретного человека и помещал ее в определенную группу людей – то, что специалисты по статистике называют интервалом. «Людям вроде нее», решал он, можно или нельзя доверять.
Главной заслугой Фэйра и Айзека было решение отбросить прокси и использовать релевантную финансовую информацию, например историю платежей по прошлым кредитам. Они сосредоточили свой анализ на конкретных людях, а не других, чем-то на них похожих. E-scores, напротив, отбрасывают нас назад во времени. Они анализируют отдельного человека через настоящий вихрь прокси. За несколько миллисекунд они делают тысячи подсчетов «похожих людей». И если достаточное количество этих «похожих» людей оказываются неплательщиками или, еще хуже, правонарушителями, то и к конкретному человеку будет соответствующее отношение.
Время от времени меня спрашивают, как преподавать этику специалистам по обработке данных. Я обычно начинаю с обсуждения того, как построить модель, подсчитывающую e-score, и спрашиваю у собеседников, имеет ли смысл закладывать в нее расовый фактор. Мне всегда отвечают, что это несправедливо и, возможно, даже незаконно. Следующий вопрос – стоит ли включать в анализ почтовый индекс. Поначалу это кажется вполне логичным. Но студентам очень быстро становится ясно, что они просто включают предубеждения прошлых времен в свою модель – что история того, как люди из данного региона в среднем ведут себя, должна хотя бы отчасти определять, какого рода кредит вправе получить проживающий там человек.
Другими словами, составители моделей для e-scores должны пытаться ответить на вопрос: «Как люди вроде вас вели себя в прошлом?», тогда как в идеале они должны спрашивать: «Как вы сами вели себя в прошлом?»
Разница между этими двумя вопросами огромна. Представьте себе, что ответственный человек с высокой мотивацией, но скромного иммигрантского происхождения пытается начать собственный бизнес – и он вынужден зависеть от такой системы в вопросе первоначальных вложений. Кто рискнет и даст такому человеку кредит? Уж точно не модель, основанная на подобной демографической и поведенческой информации.
Я должна признать, что в статистической вселенной, которую населяют прокси, они часто работают. Люди достаточно часто оказываются похожи на других людей из той же группы. Богачи чаще покупают круизы и БМВ. Бедняки чаще нуждаются в деньгах до зарплаты. И учитывая то, что статистические модели чаще всего работают, эффективность повышается, а прибыли растут. Инвесторы удваивают спрос на научные системы, которые размещают тысячи людей в том, что им кажется правильными интервалами. Это – триумф Больших данных.
Но что, если конкретный человек окажется в неправильном интервале? Такое случается. При этом не существует никакой обратной связи, которая помогла бы исправить ошибку. У механизма, обрабатывающего статистику, нет никакой возможности узнать, что он только что отправил ценного потенциального клиента общаться с автоответчиком в колл-центре. Хуже того, у неудачников в нерегулируемой вселенной e-score почти нет возможности пожаловаться и еще меньше возможностей исправить ошибку системы. В царстве ОМП они считаются небоевыми потерями. И учитывая то, что вся непрозрачная система работает где-то на отдаленном сервере, они об этом, как правило, даже не узнают. Большинство из них, вероятно, предполагают – и не без причины, – что жизнь просто несправедлива.
В мире, который я описываю, e-scores, подпитываемые миллионами прокси, действуют как бы в тени, в то время как наши кредитные истории, наполненные уместной и релевантной информацией, используются вполне официально. Но, к сожалению, на самом деле не все так просто. И слишком часто кредитные истории тоже используются как прокси.
Вас не должно удивлять, что многие институты нашего общества, от больших компаний до правительства, охотятся за людьми надежными и заслуживающими доверия. В главе, посвященной поискам работы, мы видели, как они сортируют резюме и избавляются от кандидатов, чьи психологические тесты намекают на нежелательные личные качества. Еще один повсеместно распространенный подход заключается в том, чтобы изучить кредитный скоринг кандидата. Если человек платит вовремя по счетам и старается не делать долгов, спрашивает себя работодатель, означает ли это его надежность и ответственность? Работодатель понимает, что это не совсем одно и то же. Но разве эти два параметра не коррелируют?
Именно так кредитные истории распространились широко за пределы их изначальной области предназначения. Кредитоспособность стала слишком простой подменой других достоинств. И наоборот, неумение платить по кредитам стало сигнализировать о целом наборе грехов, не имеющих прямого отношения к оплате счетов. Как мы увидим позже, всевозможные компании превращают кредитные истории в свои собственные версии кредитного скоринга и используют их как прокси. Это токсичная и повсеместно распространенная практика.
В некоторых случаях такая подмена может показаться безобидной. Некоторые сервисы онлайн-знакомств, например, подбирают партнеров на основе кредитного скоринга. Один из таких сайтов, CreditScoreDating, заявляет, что «хорошая кредитная история – это очень секси». Мы можем спорить, насколько разумно устанавливать взаимосвязь финансового поведения и любви, но, по крайней мере, клиенты этого сайта знают, во что они ввязываются, и понимают зачем. Это их выбор.
Однако если вы ищете работу, есть серьезная вероятность, что пропущенный платеж по кредитной карте или студенческому кредиту может обернуться против вас. В соответствии с данными исследования Сообщества по управлению человеческими ресурсами, почти половина американских работодателей просматривают кредитные истории своих потенциальных наемных работников. Некоторые из них также проверяют кредитный статус уже работающих у них людей – особенно когда предстоит принять решение, повышать ли работника по службе.
Перед проведением подобных проверок компании должны спрашивать у сотрудника разрешения. Но обычно это не многим больше чем простая формальность; во многих компаниях соискатели работы, которые отказываются предоставить информацию по кредитам, даже не будут рассматриваться как кандидаты. Но если их кредитная история окажется плохой, также есть большая вероятность, что их отвергнут. Исследование 2012 года, посвященное долгам по кредитным картам в семьях с низким и средним доходом, подтвердило эту тенденцию. Каждый из десяти участников сообщил о предупреждениях работодателей, что запятнанная кредитная история может похоронить их шансы на получение работы, и можно только предполагать, сколько людей оказалось не принято на работу по этой причине. Закон требует сообщать соискателям, что они отвергают их из-за проблем с выплатами по кредитам, но в действительности ничто не мешает компании просто сообщить кандидату, что он недостаточно хорошо подходит для данной работы и ему предпочли более квалифицированного соискателя.
Практика использования кредитного скоринга при принятии на работу и дальнейшем продвижении по службе создает опасный порочный круг бедности. В конце концов, если вы не можете получить работу из-за своей кредитной истории, эта история, скорее всего, еще сильнее ухудшится – а значит, вам еще сложнее будет найти работу. Это похоже на проблему, с которой сталкиваются молодые люди, которые ищут первую работу, – их не принимают из-за недостатка опыта. С аналогичными трудностями сталкиваются и давно не работавшие люди – мало кто готов принять на работу человека, который долго был безработным. Образуется спираль обратной связи, из которой не могут выбраться люди, которым просто не повезло.
Конечно, нанимателей этот аргумент мало волнует. Они считают, что хорошее кредитное поведение говорит об ответственности – а это именно то качество, которое они хотят видеть в своем работнике. Но взгляд на кредит как на проблему морали – ошибка. Каждый день много трудолюбивых и вполне надежных людей теряет работу из-за того, что компании закрываются, сокращают расходы или переезжают в другой регион. Число таких людей возрастает в периоды рецессий. И многие из тех, кто оказался без работы, оказываются и без медицинской страховки. Стоит им в этот период заболеть или попасть в аварию – и они пропускают платеж по кредиту. Даже с принятием Закона о доступном медицинском обслуживании, который уменьшил количество незастрахованных людей, медицинские расходы все равно остаются одной из основных причин банкротств в Америке.
Конечно, люди, у которых есть сбережения, могут продолжать выплачивать кредиты и в сложные времена. Те же, кто живут от зарплаты до зарплаты, гораздо более уязвимы. В результате отличная кредитная история становится не просто прокси для ответственности и грамотных решений, это еще и прокси для богатства. А богатство очень сильно коррелирует с расовой принадлежностью.
Подумайте вот о чем. На 2015 год в руках белых семей было сосредоточено в десять раз больше денег и имущества, чем в руках черных и латиноамериканских семей. И если среди белых только 15 % имели нулевой или отрицательный капитал, то более трети черных и латиноамериканцев не имели никакой финансовой подушки безопасности. Причем с возрастом этот разрыв только усугубляется. К возрасту около шестидесяти лет белые американцы в среднем в одиннадцать раз богаче афроамериканцев. Если рассматривать эти цифры, сложно не согласиться с тем, что ловушка бедности, которую создают проверки кредитной истории работодателями, влияет на общество по-разному и затрагивает расовый вопрос. В это самое время, когда я пишу эти строки, десять штатов приняли закон о запрете использования кредитного скоринга в приеме на работу. Аргументируя этот запрет, правительство штата Нью-Йорк заявило, что использование кредитных проверок «непропорционально затрагивает бедных и небелых соискателей». Однако эти проверки продолжают считаться законными и практиковаться в сорока остальных штатах.
Это не значит, что отделы кадров по всей Америке сознательно строят ловушки бедности, не говоря уже о расистских ловушках. Они, без сомнения, верят в то, что кредитные истории дают релевантную информацию, которая помогает работодателю принять важные решения. В конце концов, «чем больше данных, тем лучше» – основной принцип Века информации. Однако во имя справедливости определенную часть этой информации следует оставить без обработки.
Представьте на мгновение, что вы недавно окончили юридическую школу при Стэнфордском университете и проходите собеседование в престижной юридической фирме в Сан-Франциско. Старший партнер изучает файл на экране компьютера и вдруг начинает смеяться: «Тут говорится, что вас арестовывали в штате Род-Айленд! За организацию лаборатории по производству метамфетамина!» Он качает головой. У вас распространенное имя, и компьютеры часто делают глупые ошибки. Собеседование продолжается.
В высшем эшелоне экономики люди по большей части самостоятельно принимают важные решения, хотя и опираются на компьютер как на полезный инструмент. Однако в среднем звене и особенно в нижних эшелонах менеджмента большая часть работы, как мы видели, автоматизирована. Когда в досье имеется ошибка – а это случается часто, – даже лучшие из алгоритмов принимают неверные решения. Это давно уже сформулировали специалисты по поиску в интернете: мусор на входе – мусор на выходе.
Человек, находящийся по ту сторону этого автоматизированного процесса, может страдать от последствий в течение многих лет. Созданные компьютером списки нежелательных пассажиров, которых авиакомпании отказываются пускать на борт самолета, например, знамениты своими ошибками. Ни в чем не виноватый человек, чье имя просто похоже на имя подозреваемого в терроризме, каждый раз проходит через ад, пытаясь попасть в самолет. При этом богатые путешественники зачастую в состоянии оплатить статус «заслуживающего доверия путешественника», который позволяет им обходить службу безопасности в аэропортах. По сути, они тратят деньги, чтобы защитить себя от ОМП.
Подобные ошибки возникают повсеместно. Федеральная торговая комиссия сообщила в 2013 году, что пять процентов потребителей – то есть 10 миллионов человек – обнаруживали ошибки в своих кредитных историях, причем ошибки достаточно серьезные, которые вполне могли повлечь более высокие проценты по кредиту. Это неприятно, но, по крайней мере, кредитные истории существуют в регулируемой области экономики данных. Потребители вполне могут (и им следует это делать) хотя бы раз в год потребовать, чтобы им дали просмотреть их кредитные истории и исправить ошибки, которые могут однажды дорого обойтись.
И все же нерегулируемая сторона экономики данных еще более опасна. Множество компаний, от гигантов вроде Acxiom Corp до фирм-однодневок, покупают информацию у социальных сетей, розничных магазинов, рекламных агентств, разработчиков мобильных приложений и букмекерских контор и в результате могут собрать огромное количество фактов на каждого потребителя в стране. Они могут отметить, например, что у такого-то пользователя обнаружен диабет, при этом дома у него курят, а сам он водит внедорожник и обзавелся парочкой колли (которые останутся в досье еще много лет после того, как покинут бренную землю). Эти компании также собирают все крупицы доступной официальной информации, включая данные о голосовании, о столкновениях с полицией и продаже дома. Все это заносится в профиль потребителя, который затем продается.
Одни компании, торгующие подобной информацией, надежнее других. Но в ходе любой операции, которая пытается собрать профили сотен миллионов людей из тысячи различных источников, неизбежно появится множество ошибок. Возьмем историю жительницы Филадельфии Хелен Стоукс. Она хотела переехать в местный центр для престарелых, но ей постоянно отказывали, потому что центр располагал сведениями о ее прошлых арестах. Ее действительно дважды арестовывали в ходе ссор с бывшим мужем, но она не была осуждена, и сведения об ее арестах были удалены из официальной базы данных полиции. Однако эти сведения остались в документах, собранных компанией RealPage Inc. (эта компания проверяла биографические данные потенциальных жильцов центра).
Для RealPage и многих других подобных компаний создание и продажа подобных отчетов – источник прибыли. А люди вроде Хелен Стоукс – не клиенты, они продукты. Отклики на их жалобы занимают время и стоят денег. В конце концов, пусть Стоукс и говорит, что ее аресты были удалены из базы данных, проверить эту информацию стоит времени и денег. Высокооплачиваемый сотрудник компании должен провести для этого несколько минут в интернете или, боже упаси, сделать пару телефонных звонков. Неудивительно в таком случае, что Стоукс ничего не добилась, пока не подала в суд. И сколько других брокеров данных, даже после отклика от RealPage, до сих пор продают файлы со столь же токсичной дезинформацией? Остается только гадать…
Некоторые брокеры данных предоставляют потребителям доступ к собранной информации. Но эта информация предоставляется не целиком. Туда включены все факты, но не всегда включены выводы, которые брокеры извлекают из этих фактов. Допустим, некая женщина изучает свой файл с данными и видит там информацию о том, что у нее ипотека и два неоплаченных счета – за услуги провайдера Verizon и за починку гаражной двери, всего за 459 долларов. Но она не видит, что ее включили в интервал «Сельские жители, едва сводят концы с концами» или «На пенсии, без сбережений». К счастью для брокеров данных, очень немногие из нас могут увидеть эти детали. Если бы мы имели такую возможность – чего добивается Федеральная торговая комиссия, – брокеры данных, скорее всего, просто были бы завалены миллионами судебных исков. Это могло бы запросто разрушить их бизнес-модель. Но на данный момент потребители узнают об ошибках в своих файлах чаще всего просто случайно.
Жительнице Арканзаса по имени Кэтрин Тейлор, например, несколько лет назад отказали в приеме на работу в местное отделение Красного Креста. Такое случается. Но письмо с отказом, которое получила Тейлор, содержало крупицу важной информации. Сведения о ее прошлом включали уголовное обвинение за намерение производить и продавать метамфетамины. Разумеется, такие кандидаты не были нужны Красному Кресту.
Но Тейлор решила разобраться и выяснила, что криминальные обвинения относились к другой Кэтрин Тейлор, ее полной тезке и к тому же имевшей ту же дату рождения. Позже соискательница выяснила, что еще как минимум десять компаний подмочили ее репутацию неточными сведениями, что, вероятно, в свое время сыграло свою роль и в том, что заявка Кэтрин на федеральную жилищную субсидию была отвергнута. Может быть, ее и в этом случае приняли за кого-то другого?
В процессе автоматической обработки информации, без сомнения, такое могло случиться. Но тут в процесс вмешался человек. При подаче заявки на субсидию Тейлор и ее муж встречались с сотрудницей ведомства по делам недвижимости, чтобы проверить биографии супругов. Эта сотрудница по имени Ванда Тейлор (не родственница Кэтрин или ее мужа) использовала информацию, предоставленную компанией – брокером данных под названием Tenant Tracker. Отчет был полон ошибок и совершенно посторонних персонажей. Например, в нем предполагалось, что настоящее имя Тейлор – не Кэтрин, а Шантель, и что она осужденная преступница, родившаяся в тот же день. Другое подозрение касалось той самой Кэтрин Тейлор, о которой супруги уже слышали, – преступницы, отбывавшей срок в тюрьме в штате Иллинойс за кражу, подлог и хранение запрещенных веществ.
Короче говоря, этот отчет был сплошной путаницей. Но Ванда Тейлор имела опыт в подобных вещах. Она начала пристально изучать информацию и быстро вычеркнула версию с Шантель, которая показалась ей неправдоподобной. Затем она выяснила, что у воровки из Иллинойса была на лодыжке татуировка с именем Трой. Попросив Кэтрин Тейлор показать лодыжки, она вычеркнула и эту версию. К концу встречи всего один добросовестный сотрудник смог удалить всю чепуху, собранную брокером, просто отловившим случайную информацию в интернете. Теперь ведомство по делам недвижимости знало, с какой именно Кэтрин Тейлор оно имеет дело.
Вопрос, на который пока нет ответа, заключается в следующем: а сколько имеется добросовестных сотрудников, готовых исправлять подобные ошибки? Ответ: совершенно недостаточно. Живые люди в экономике данных – это пережитки и исключения. Системы настроены так, чтобы работать с максимальной степенью автоматизации, лишь это эффективно и прибыльно. Ошибки неизбежны, как и в любой статистической программе, но самый простой способ их уменьшить – тоньше настроить алгоритмы, которые управляют машинами. Люди только путаются под ногами.
Эта тенденция к автоматизации лишь ускоряется с развитием компьютеров, которые все лучше и лучше могут разбирать записанную информацию, в некоторых случаях обрабатывая тысячи написанных документов в секунду. Но они все еще неправильно понимают многие вещи. Даже суперкомпьютер Watson, играющий в Jeopardy!, при всем своем великолепии был поставлен в тупик языковым контекстом в десяти процентах случаев. Однажды он решил, что бабочки питаются «кошерно», а в другой раз перепутал Оливера Твиста, персонажа Чарльза Диккенса, и группу Pet Shop Boys.
Подобные ошибки неизбежно накапливаются в наших досье, путая и неправильно ориентируя алгоритмы, которые все больше управляют нашими жизнями. Эти ошибки, следствие автоматического сбора данных, делают токсичными предиктивные модели и усиливают деструктивное воздействие оружия математического поражения. Однако автоматический сбор продолжает развиваться. Компьютеры все более активно выходят за пределы письменного мира. Они обрабатывают устную информацию и изображения и используют их, чтобы собрать больше информации обо всем во вселенной – включая нас. Эти новые технологии соберут массу новой информации для наших досье – увеличив и риск появления новых ошибок.
Совсем недавно система распознавания образов компании Google обработала фотографии троицы счастливых молодых афроамериканцев, и автоматический сервис проставления тегов для изображений обозначил всех троих как горилл. Конечно, компания принесла глубокие извинения, но в системах, подобных Google, такие ошибки неизбежны. Скорее всего, это ошибка машины, а не каверзы расиста, затаившегося на просторах Googleplex: программное обеспечение просмотрело миллиарды изображений людей и приматов и научилось неплохо распознавать характерные черты – от оттенков цвета кожи до расстояния между глазами и формы ушей. Однако очевидно, что алгоритм не был достаточно хорошо протестирован перед выпуском. Подобные ошибки – это возможности для дальнейшего обучения машины, но только в том случае, если система получает обратную связь с сообщением о том, что она ошиблась. В данном случае эта обратная связь была получена. Но несправедливость продолжает существовать. Когда автоматические системы просматривают наши данные, чтобы на их основе составить наш электронный рейтинг, они явным образом проецируют прошлое в будущее. И, как мы видели в случае с моделями возможности рецидива, а также хищническими кредитными алгоритмами, они исходят из того, что бедные останутся бедными навсегда, и относятся к ним соответствующим образом: лишают их возможностей, чаще сажают в тюрьму, обманывают с сервисами и кредитами. Подобное отношение неизбежно, зачастую слишком глубоко спрятано и недостижимо для обжалования.
В то же время мы не можем рассчитывать на то, что автоматические системы решат проблему несправедливости. При всей их невероятной мощи они пока не могут делать поправки на справедливость – во всяком случае, не могут сделать этого самостоятельно. Обработка данных с приоритетом установления справедливости совершенно чужда машинам, и их невероятно сложно этому научить. Только человек может с таким справиться.
Здесь можно увидеть парадокс. Если мы снова вернемся к нашему банкиру 1950-х годов, мы увидим, что его сознание наполнено человеческими предубеждениями: желаниями, предрассудками, недоверием к чужакам. Именно для того, чтобы делать свою работу более справедливо и более эффективно, он и его коллеги по профессии и передали работу алгоритму.
Шестьдесят лет спустя миром управляют автоматические системы, которые наполняют наши досье ошибками. Они срочно нуждаются в понимании контекста, здравого смысла и справедливости, а это понимание могут обеспечить только люди. Однако, если мы оставим эту проблему на усмотрение рынка, который ценит лишь эффективность, рост и поток прибыли (и ради этого согласен на определенный процент ошибок), живым людям будут даны инструкции не вмешиваться и держаться подальше от машин.
Это будет большой проблемой, потому что, пока мы вскрываем и решаем проблемы с нашими старыми кредитными моделями, на рынок стремительно врываются мощные новые игроки. Например, Facebook запатентовал новый тип кредитного рейтинга, основанный на изучении наших социальных сетей. Цель, если смотреть поверхностно, вполне разумна. Представьте себе выпускника колледжа, который отправляется на пять лет в Африку в составе религиозной миссии – помогать обеспечивать питьевой водой нищие африканские деревни. Затем он возвращается домой – естественно, не имея никакого кредитного рейтинга – и начинает испытывать сложности с получением кредита. Однако на Face-book есть все его одноклассники – и многие из них стали инвестиционными банкирами, кандидатами наук, разработчиками ПО… Анализ социального окружения нашего миссионера показывает, что он вполне может быть надежным заемщиком. Однако тот же алгоритм с большой вероятностью сработает против какого-нибудь трудолюбивого уборщика из восточного Сент-Луиса, в друзьях у которого немало безработных и даже несколько заключенных.
Тем временем респектабельная банковская индустрия продолжает маниакально прочесывать наши личные данные в попытках стимулировать бизнес. Однако лицензированные банки (в отличие от брокеров данных) подлежат федеральному регулированию и определенным правилам конфиденциальности. С точки зрения этих правил собирание досье на клиентов влечет репутационные и юридические риски. Компания American Express убедилась в этом на собственной шкуре в 2009 году, как раз в разгар Великой рецессии. Пытаясь уменьшить риски ради собственной балансовой ведомости, American Express урезала кредитный лимит некоторым клиентам. Однако, в отличие от неформальных игроков на поле электронных рейтингов, гигантский эмитент кредитных карт был обязан разослать этим клиентам письма с объяснением причин.
Это был удар ниже пояса. Компания объяснила, что владельцы карт, тратившие деньги в определенных местах, с большей вероятностью могли задерживать выплаты. Это был вопрос статистики, очень простой: четкая корреляция между покупательскими привычками и уровнем дефолтов по картам. Несчастные клиенты American Express могли только догадываться, какое именно заведение угробило их кредитный лимит. Может быть, еженедельные закупки в Walmart? Или проверка тормозной системы в небольшой авторемонтной мастерской? Что именно поместило их в интервал потенциальных неплательщиков?
В любом случае это решение уменьшило кредитный лимит клиентов в самый разгар жестокого экономического кризиса. И что еще хуже, уменьшение лимита должно было появиться в течение нескольких дней в их кредитных историях. На самом деле это уменьшение наверняка было зафиксировано уже на момент получения клиентами писем. Оно должно было уменьшить их скоринг и повысить проценты по кредиту. Можно сказать уверенно, что многие из этих владельцев карт часто посещали «магазины, ассоциирующиеся с плохими выплатами» именно потому, что отнюдь не купались в деньгах. И, естественно, алгоритм сделал их еще беднее.
Гнев владельцев кредитных карт привлек внимание крупных изданий, включая New York Times, и American Express быстро заявила, что не связывает конкретные магазины со степенью риска (позже компания настаивала на том, что выбрала неверные слова в своих письмах и что они изучали исключительно более широкие покупательские предпочтения, а не конкретные магазины).
Для American Express эта история обернулась сильной головной болью. Если они и в самом деле усмотрели явную корреляцию между покупками в определенных магазинах и кредитным риском, они определенно больше не могли использовать это знание. В сравнении с большей частью интернет-экономики компании, подобные American Express, действуют в определенных рамках, подчиняются правилам и в какой-то степени, можно сказать, связаны по рукам и ногам. (Не то чтобы им было на что жаловаться. В течение многих десятилетий лоббисты на финансовом рынке помогали устанавливать многие из этих правил, поддерживая старых игроков – и против досаждающих новичков.)
Так что удивительного в том, что новые силы в финансовой индустрии силы выбирают более свободные и не такие зарегулированные пути? Инновации, в конце концов, основаны на свободе экспериментов. А с петабайтами данных в руках и практически при полном отсутствии внешнего контроля открываются просто огромные возможности для создания новых бизнес-моделей.
Множество компаний, например, хотят выйти на рынок микрокредитов до зарплаты. Эти «банки последней надежды» работают с бедняками, обирая их от зарплаты до зарплаты и запрашивая нереально высокие проценты по выплатам. Через 22 недели за взятые взаймы 500 долларов придется отдать уже 1500. Поэтому, если какой-то изобретательный игрок на этом рынке найдет новый способ эффективно оценивать риски, а затем отбирать более надежных кандидатов из множества отчаявшихся людей, он может даже назначить им процент слегка ниже рынка – и все равно получить огромную прибыль.
Именно в этом и заключалась идея Дугласа Меррилла. Бывший директор по информационным технологиям в Google, Меррилл считал, что сможет использовать Большие данные, чтобы подсчитать степень риска и предложить кредиты до зарплаты со скидкой. В 2009 году он основал стартап под названием ZestFinance. На сайте своей компании Меррилл объявил, что «любая информация – это кредитная информация». Другими словами, все пойдет в дело.
ZestFinance покупал информацию о том, насколько аккуратно соискатели кредитов оплачивают телефонные счета, а также многие другие данные, находящиеся в открытом доступе или доступные для приобретения. Меррилл пообещал, что проценты у него будут ниже, чем практически у всех других компаний, занимающихся микрокредитованием. Стандартный кредит в 500 долларов в ZestFinance стоит через 22 недели «всего» 900 – на 60 % ниже среднего в этой индустрии.
Конечно, это улучшение, но справедливо ли оно? Алгоритмы компании обрабатывают до десяти тысяч параметров по каждому претенденту, включая не вполне обычные сведения, такие как грамотность заполнения формы заявки претендентом, скорость, с которой он ее читает, и читает ли он все условия, перечисленные в договоре. «Те, кто следует правилам», считает компания, с большей вероятностью выплачивают свои кредиты.
Возможно, это действительно так. Но ошибки в орфографии и пунктуации – это также показатель плохого образования, что напрямую коррелирует с социальным классом и расой. Поэтому, когда бедняки и иммигранты подают заявку на кредит, плохое владение языком может привести к повышению процентной ставки. И если потом у них возникнут сложности с выплатой этих процентов, это лишь подтвердит, что они изначально находились в зоне высокого риска, – и понизит еще сильнее их кредитный скоринг. Создается токсичная петля обратной связи, и оплата счетов вовремя играет здесь лишь небольшую роль.
Когда новые предприятия строятся на основе оружия математического поражения, неизбежны проблемы, даже если создатели ОМП были преисполнены лучших намерений. Возьмем пример индустрии кредитования между физическими лицами. Она появилась в прошлое десятилетие, и в ее основе лежала идея предоставления физическими лицами взаимных кредитов. Это должно было демонстрировать демократизацию банковского дела. Больше людей смогли бы получить кредиты – и в то же время миллионы обычных людей смогли бы стать мини-банкирами и получать неплохую прибыль. Обе стороны при этом обходили бы стороной жадные банки.
Один из первых таких центров обмена, Lending Club, появился как приложение к Facebook в 2006 году и через год получил финансирование, чтобы стать банком нового типа. Чтобы подсчитать риски заемщиков, Lending Club объединил традиционные кредитные отчеты с информацией, собранной в интернете. Короче говоря, их алгоритм производил электронные скоринги, которые, как утверждалось, были точнее кредитных историй.
Lending Club и его основной конкурент Prosper – до сих пор относительно небольшие компании. Объем выданных ими кредитов не превышает 10 миллиардов долларов – это лишь крупица на кредитном рынке США размером в три триллиона. Однако они привлекают к себе много внимания. Члены руководства Citigroup и Morgan Stanley выступают как директоры участников кредитования между физическими лицами, а инвестиционный фонд Wells Fargo – самый большой инвестор Lending Club. IPO Lending Club в декабре 2014 года было самым большим из первичных публичных размещений за год. Lending Club собрал 870 миллионов и получил оценку рыночной стоимости в 9 миллиардов долларов, что поставило его на пятнадцатое место среди банков в Америке.
Вся эта шумиха имеет мало отношения к демократизации капитала или укреплению среднего класса. В соответствии с данными Forbes, финансы юридических лиц составляют уже более 80 % всех активов в платформах кредитования между физическими лицами. Для больших банков эти новые платформы предоставляют удобную альтернативу жестко регулируемой банковской экономике. Работа через систему кредитования между физическими лицами дает кредитору возможность проанализировать любую информацию, которая ему нужна, и разработать свои скоринги. Он может разработать корреляции риска с районом проживания, почтовым индексом, магазинами, в которых делают покупки клиенты, – и все это без необходимости отсылать клиентам неловкие письма с неуклюжими объяснениями.
Что же это значит для нас? По мере роста электронных рейтингов мы все больше распределяемся по группам в соответствии с тайными формулами, причем некоторые из них составляются на основе досье, полных ошибок. Нас рассматривают не как отдельных личностей, а как представителей определенных племен, и мы никуда не можем от этого деться. По мере того как электронные рейтинги загрязняют сферу финансов, возможности для бедняков делаются все призрачнее. На самом деле, если сравнить с разбоем ОМП, полный человеческих предубеждений банкир прошлых дней покажется не таким уж ужасным. В конце концов, заемщик мог попытаться прочитать что-то в его глазах и воззвать к его человечности.