Как бороться с дискриминацией на онлайн-площадках?

Рэй Фисман, Майкл Лука

В конце 1980-х профессора юриспруденции Йен Айрес и Питер Зигельман решили выяснить, отличаются ли условия сделок при покупке новых автомобилей афроамериканцами и женщинами по сравнению с белыми мужчинами. Они обучили группу из 38 человек, среди которых были представители разных рас и полов, вести переговоры о покупке по фиксированному сценарию и обнаружили печальные различия. У 153 продавцов афроамериканцам и женщинам пришлось заплатить за те же самые автомобили больше, чем белым мужчинам, причем самую большую цену требовали с черных женщин — в среднем на $900 больше, чем с белых мужчин. Хотя это открытие вряд ли многих удивило, особенно чернокожих и женщин, оно послужило убедительной демонстрацией того, насколько дискриминационными могут быть рынки.

Прокрутим десяток лет вперед, к дням начала интернет-торговли. Предприниматели экспериментируют с сетевыми продажами всего на свете, в том числе автомобилей. Экономисты Фиона Скотт Мортон, Флориан Зеттельмейер и Хорхе Сильва-Риссо проанализировали новый тип продаж в этой отрасли и обнаружили, что он исключил расовую и гендерную дискриминацию, которая, что они также подтвердили, продолжала присутствовать в офлайн-продажах автомобилей.

Торговые онлайн-площадки (маркетплейсы) первого поколения, в том числе eBay, Amazon и Priceline, были устроены так, что продавцам было сложно кого-то дискриминировать. Транзакции были относительно анонимны. Пользователь мог обсуждать покупку без предоставления какой-либо личной информации, пока продавец не соглашался на сделку. Как было замечено в знаменитой карикатуре из The New Yorker, «в интернете никто не знает, что ты собака».

Однако платформам — а теперь и их пользователям — известно, черный вы или белый, мужчина или женщина, человек или собака. И недавно обнаружилось, что интернету так и не удалось положить конец дискриминации. При раскрытии личных данных уязвимые группы сталкиваются с теми же проблемами, которые давно преследуют их в «реальном» мире, и иногда ситуация оказывается еще тяжелее из-за недостаточного правового регулирования, фотографий, по которым сразу видно пол и расу, и того факта, что потенциальные дискриминаторы могут действовать, даже не общаясь напрямую со своими жертвами.

Что же произошло и что можно с этим сделать?

Возникновение цифровой дискриминации

В первые дни электронной коммерции для онлайн-шопинга часто требовался «прыжок веры». Продавец с eBay из Флориды мог выставить на продажу, скажем, бейсбольную карточку Topps с Ноланом Райаном в California Angels сезона 1974 года с описанием ее состояния. Коллекционер из Массачусетса должен был отдать деньги за карточку, которую он лично не видел, на основании одного лишь этого описания. Карточка в идеальном состоянии могла стоить $60, в то время как потрепанная — лишь малую часть этой суммы. Что мешало продавцу отправить покупателю потрепанную карточку вместо первозданной? На самом деле мало что. Экономисты Джинджер Джин и Эндрю Като обнаружили, что в начале 2000-х продавцы на eBay часто неверно указывали состояние подобных лотов.

Идея вкратце

Проблема электронной коммерции заключалась в том, что одной стороне рынка обычно было известно то, что не было известно другой стороне: состояние товара, надежность и аккуратность упаковки и т.д. Эти проблемы возникали на всех рынках, но особенно серьезными они были именно на онлайн-платформах по двум основным причинам. Во-первых, преодолеть асимметричность информации труднее, когда вы не можете взять товар в руки. Во-вторых, онлайн-продавцы, практически по определению, были новичками в этом деле, потому что сам этот бизнес существовал всего лишь несколько лет. В нем еще не было таких устойчивых брендов, как Sotheby’s и Sears, которые могли бы гарантировать, что покупателей не обманут.

Со временем отзывы потребителей и другие типы обратной связи стали обеспечивать репутацию продавцам на электронных площадках. Но зачем останавливаться на сборе отзывов, когда из личных данных покупателей и продавцов можно извлечь столько полезной информации? Например, в 2012 году в исследовании займов между физическими лицами, проводимом Джефферсоном Дуарте, Стефаном Сигелем и Лансом Янгом, участники оценивали надежность потенциальных заемщиков по их фотографиям. Оказалось, что люди, которые «выглядят достойными доверия» с большей вероятностью получают займы. Но, что более удивительно, они действительно чаще выплачивают их в срок. Суть здесь в том, что если такая подробная информация может помочь участникам рынка оценивать перспективы транзакции, значит, имеет смысл ее предоставлять!

На сайтах, предоставляющих различные услуги — от фриланса до совместных поездок и выгула собак, — многие продавцы в настоящее время выбирают, на кого работать, на основании внешнего вида или даже имен. Доступность подобной информации зависит от платформы: одни сайты сохраняют значительную долю анонимности, в то время как другие возвращаются к практикам, давно запрещенным на офлайн-рынках. На многих сайтах, в том числе Etsy и CustomMade, потенциальные покупатели видят не только товары, но и имена и фото продавцов. И хотя знание деталей о потенциальных партнерах по сделке может успокаивающе действовать на людей, накапливается все больше свидетельств в пользу того, что это способствует дискриминации.

Маркетплейс краткосрочной аренды недвижимости Airbnb служит наглядным примером возникновения дискриминации на онлайн-рынках и того, как выбор дизайна влияет на ее масштабы. Когда потенциальный арендатор просматривает объявления, он видит описания и фотографии как самой недвижимости, так и ее хозяина. А хозяева видят имена — и во многих случаях фотографии — потенциальных арендаторов, прежде чем принять или отвергнуть их.

Один из нас (Майк, совместно с Бенджамином Эдельманом и Дэниелом Свирски) исследовал расовую дискриминацию на Airbnb. В этой работе, посвященной американскому рынку, группа создала 20 профилей пользователей и разослала запросы на аренду приблизительно 6400 хозяевам недвижимости. Профили и запросы были идентичными за исключением одной детали — имен пользователей. В половине профилей стояли имена, наиболее типичные (согласно записям о рождениях) для белых, а в половине — для черных.

Запросы с «черными» именами удовлетворялись на 16% реже, чем с «белыми». И такая дискриминация наблюдалась повсеместно: в дешевых и дорогих предложениях, в смешанных и расово гомогенных районах, при сдаче комнат в собственном жилье хозяина и отдельного жилья от домовладельцев, размещающих много объявлений. Большинство хозяев, отклонявших запросы от арендаторов с «черными» именами, никогда не принимали чернокожих гостей, что позволяет предположить, что некоторые хозяева особенно склонны к расовой дискриминации. (В ответ на это исследование и растущую критику со стороны пользователей и регулирующих органов, Airbnb создала рабочую группу для выработки способов снижения уровня дискриминации, которая в сентябре 2016 года предложила ряд изменений. Мы рассмотрим аспекты заявленных мер ниже.)

Исследователи в настоящее время фиксируют наличие расовой дискриминации во многих сферах онлайн-бизнеса, от рынка труда до выдачи кредитов и предоставления жилья. Это обусловлено двумя особенностями: во-первых, наличием в профилях маркеров расы — не только таких очевидных, как фото, но и более тонких; а во-вторых, разборчивостью участников рынка при выборе потенциальных партнеров по транзакциям. В следующем разделе мы поговорим о том, что оба эти фактора зависят от выбора разработчиков платформы.

Не столь очевидно влияние на дискриминацию еще одной характеристики онлайн-коммерции — использования алгоритмов и больших массивов данных. Результаты поиска в Google, рекомендации книг на Amazon и фильмов на Netflix — все это примеры программной замены несовершенных человеческих суждений о том, что нужно потребителю. Возникает искушение предположить, что исключение человеческих оценок должно вести и к уничтожению человеческих предубеждений. Однако это не так.

Алгоритмы порождают дискриминацию не так, как люди. Профессор вычислительной математики Латанья Свини провела потрясающее исследование, целью которого было разобраться в роли расы в рекламных объявлениях Google. Она задавала в поиске типичные афроамериканские имена типа Дешон или — ну да — Латанья, и отмечала объявления, которые появлялись на странице вместе с результатами поиска. Затем она задавала имена, более типичные для белых, например Джеффри. Оказалось, что при поиске «черных» имен на странице чаще появлялись объявления с предложениями баз данных по арестам.

Конечно, никто не настраивает Google так, чтобы он показывал подобные объявления людям, ищущим афроамериканские имена. Это происходит потому, что алгоритм «решает» на основании прошлых запросов, что некто, ищущий имя «Дешон», с большей вероятностью, чем некто, ищущий «Джеффри», заинтересуется рекламой с данными об арестах (и, следовательно, обеспечит Google больше прибыли). Таким образом, этот выбор сделан, хоть и непреднамеренно, разработчиками Google.

Путь к более умному рыночному дизайну

Платформы — даже в одной и той же отрасли — часто различаются особенностями своего дизайна, что может приводить к разным уровням склонности к дискриминации. Возьмем, к примеру, решение о том, размещать ли фотографии пользователей и когда именно. Uber не показывает водителям фото потенциальных пассажиров, а его конкурент Lyft — показывает. Благодаря этому в Uber дискриминация пассажиров со стороны водителей менее вероятна. Аналогично, главная страница с результатами поиска жилья на HomeAway показывает только изображения недвижимости, но не ее владельцев, которые можно увидеть (и то не всегда) только при выборе конкретных объявлений, а Airbnb требует от владельцев прикладывать свои фото к объявлениям на главной странице.

Компании также по-разному подходят к расследованиям случаев возможной дискриминации и выработке мер по ее устранению. Например, eBay работала с командой социальных психологов, которые изучали, не получают ли продавцы-мужчины больше денег за одинаковые товары, чем продавцы-женщины (оказалось, что так и есть). Однако чаще компании не занимаются подобными вопросами. Хотя многие топ-менеджеры признают, что дискриминация существует, и вроде бы хотят справиться с ней, пока мы видим не так уж много искренних попыток сделать что-то реальное, как в eBay. Поэтому исследователи, желающие изучать онлайн-дискриминацию, должны проводить собственные эксперименты или собирать по определению неполные данные с сайтов. (И нам известны случаи, когда юристы компаний пытались преследовать таких исследователей и мешать их работе.)

Даже компании с самыми благими намерениями могут выбирать не самые лучшие подходы к борьбе с дискриминацией, потому что, насколько нам известно, не существует системы для взвешенного рассмотрения доступных вариантов дизайна с этой точки зрения и их возможных последствий. Наша цель в этой статье — предложить компаниям схему, с помощью которой они смогут построить процветающую площадку и управлять ею, одновременно минимизируя склонность к дискриминации.

Мы не рассчитываем на то, что все создатели рынков будут принимать одинаковые решения. Конкуренты по-разному подходят к решению других вопросов (например, Lyft позволяет оставлять чаевые через приложение, а Uber — нет), и они точно так же будут по-разному решать проблему дискриминации (например, среди прочего, они могут по-разному стимулировать меры, направленные на борьбу с ней. (Хотя мы убеждены, что платформы должны стремиться к высшим стандартам в этом отношении.) Наша цель — помочь создателям лучше разобраться в возможных последствиях и компромиссах их решений.

Ниже мы предлагаем два основных принципа для платформ, стремящихся решить эту задачу. Затем мы оценим четыре варианта решений, которые способны повлиять на дискриминацию.

Принцип 1. Не игнорируйте возможность дискриминации

Платформы должны начинать с более тщательного отслеживания. В настоящее время большинству неизвестен расовый и гендерный состав участников их сделок. Регулярные отчеты (и время от времени аудит) о расовой и половой принадлежности пользователей, а также оценка успешности каждой из групп на платформе — необходимый (хотя и недостаточный) шаг к раскрытию и искоренению любых проблем. Это проливает свет на сферы, где дискриминация действительно является проблемой, и дает возможность следить за прогрессом. В деле борьбы с дискриминацией это может стать отличным первым жестом доброй воли. Например, Airbnb может регулярно отчитываться о проценте положительных ответов на запросы по группам пользователей в зависимости от расы и пола. Открытый доступ к такой информации поможет привлечь внимание пользователей и регулирующих органов к проблеме и заставить компании всерьез взяться за ее решение. (Открытый доступ к данным по дискриминации — один из аспектов объявленной Airbnb политики, который пока не реализован в полной мере, однако стоит отметить, что в целом грандиозные и похвальные цели компании уже трансформировались в конкретные результаты.)

Принцип 2. Сохраняйте экспериментальное мышление

Платформы должны заниматься тем, что у них получается лучше всего, — экспериментировать. Такие компании, как Facebook, Yelp и eBay прочно встроили экспериментальное мышление в практики развития своих новых продуктов и функций. Для тестирования дизайнерских решений, которые, наряду с другими способами вмешательства, могут повлиять на степень дискриминации, компании должны проводить рандомизированные контролируемые испытания. Стоит поаплодировать Airbnb за ее недавний эксперимент со скрытием фото владельцев недвижимости на главной странице с результатами поиска, чтобы изучить влияние этого фактора на результаты бронирования (хотя компания пока и не представила эти данные открыто).

Решение 1. Не предоставляете ли вы слишком много информации?

Во многих случаях самое простое и эффективное изменение, которое может внести платформа в свой дизайн — отказаться открывать информацию, которая способна сделать более уязвимыми те или иные категории пользователей (например, сведения о половой и расовой принадлежности), пока соглашение о сделке не будет заключено. Некоторые платформы, в том числе Amazon и eBay, уже сделали это. Однако для многих других это означает отход от привычных способов ведения бизнеса. Топ-менеджер одной платформы, стоящей миллиарды долларов, сказал нам, что его компания никогда не будет рассматривать возможность скрытия фото или имен пользователей.

Платформы могут выбирать не только то, какую информацию раскрыть, но и как ее преподнести. И есть много доказательств того, что большое значение имеет выделение той или иной информации при представлении на сайте. Например, на некоторых платформах стоимость доставки указана отдельно от базовой цены и менее заметна на странице. Экономисты Дженнифер Браун, Танжим Хоссейн и Джон Морган показали, что в этом случае более низкая базовая цена повышает шансы на продажу товара, даже если стоимость его доставки оказывается выше. Иными словами, на потребителя влияет не только информация как таковая, но и выразительность ее представления.

Чтобы понять, как можно применить это знание, давайте вернемся к сравнению Airbnb, которая показывает фото хозяев на главной странице с результатами поиска, с HomeAway, которая этого не делает. (В сентябре Airbnb заявила, что протестирует альтернативные способы представления фотографий и прочей информации, имеющей отношение к расе, хотя не конкретизировала, как и что именно будет сделано.) Не делая акцента на расовой принадлежности, платформы способны снизить уровень дискриминации.

Решение 2. Можете ли вы еще больше автоматизировать процесс транзакций?

Используя Uber, вы касаетесь экрана смартфона, чтобы заказать машину; только после подтверждения заказа вы можете увидеть, кто именно к вам приедет. Теоретически, после этого вы можете отказаться, если вам не понравился рейтинг или внешний вид водителя. Но для этого нужно потратить дополнительные усилия, и этой небольшой «цены транзакции» обычно оказывается достаточно для того, чтобы не отменять поездку на основе только внешнего впечатления. Uber вполне мог бы позволить пассажирам видеть водителя до того, как они подтвердят или отменят заказ, но решил этого не делать.

Если транзакция происходит до того, как одна из сторон узнает расовую и половую принадлежность другой, риск дискриминации существенно снижается. Возьмем, к примеру, такую услугу Airbnb, как «моментальная бронь», которая призвана сделать бронирование жилья проще и удобнее. Владелец предоставляемой недвижимости разрешает арендаторам бронировать ее без предварительного одобрения с его стороны. Это необязательная услуга — хозяева жилья могут подписаться на нее по своему желанию. Исследования показали, что склонность к использованию варианта по умолчанию очень сильна: большинство хозяев выбирают именно тот вариант, который установлен по умолчанию. Если бы Airbnb сделала моментальную бронь такой опцией, чтобы хозяевам пришлось приложить дополнительные усилия для отказа от нее, скорее всего, дискриминация снизилась бы. Компания могла бы даже предложить хозяевам платить за привилегию подробного изучения данных клиента — например, брать отдельную плату за отказ от услуги моментального бронирования. (В сентябре компания заявила, что хочет продвигать эту услугу, но не пояснила, что именно собирается делать для этого.)

Мы считаем, что повышение автоматизации и правильно применяемые стандартные экономические стимулы способны снижать уровень дискриминации, а также — благодаря исключению ряда шагов из процесса завершения сделки — повысить прибыль на самых разных платформах.

Решение 3. Можете ли вы сделать антидискриминационную политику более приоритетной?

В исследовании 2012 года команда, состоявшая из Лизы Шу, Нины Мазар, Франчески Джино, Дэна Ариэли и Макса Бейзермана, решила проверить, может ли нечто столь примитивное, как расположение подписи на бланке, влиять на честность. Людям часто приходится заполнять различные формы и затем подтверждать верность информации подписью. Ученым стало интересно, станут ли люди реже вносить недостоверную информацию, если им нужно будет ставить подпись в самом верху бланка, то есть до того, как его заполнить. И действительно, оказалось, что в таком случае люди врут реже, как в лабораторных экспериментах, так и в реальной жизни (в полевом эксперименте, проведенном в компании автострахования). Те же результаты были получены и в сфере налоговой отчетности.

Мы можем извлечь из этого полезный урок для маркетплейсов: если вы хотите, чтобы люди что-то сделали, тщательно продумайте, как и когда подтолкнуть их к этому. На большинстве платформ существует некая антидискриминационная политика, но нередко она похоронена под грудой мелкого шрифта. Например, хозяева жилья на Airbnb обязуются не дискриминировать потенциальных арендаторов, но они подписываются под этим при первом же выставлении своей недвижимости на сайте. К тому моменту, когда хозяину придется принимать решение, откликнуться ли на чей-то запрос, он, вероятно, уже забудет о том, что именно подписывал. Площадки должны выставлять свою антидискриминационную политику как нечто более актуальное — и заставлять владельцев недвижимости подписывать антидискриминационное соглашение в процессе реальной транзакции. Конечно, кто-то все равно будет нарушать эти условия, но это уже будет гораздо более осознанный выбор.

Решение 4. Должны ли ваши алгоритмы распознавать дискриминацию?

Степень, в которой алгоритм может стать источником дискриминации, также определяется решениями его разработчиков. До сего момента многие разработчики алгоритмов игнорировали такие факторы, как раса и пол, и просто надеялись на лучшее. Однако во многих случаях вероятность того, что алгоритм случайным образом будет обеспечивать равенство, практически равна нулю; вспомните приведенный выше пример с рекламой в Google.

Если разработчика алгоритма заботит справедливость, он должен проследить, как расовая или половая принадлежность влияет на пользовательский опыт, и установить для себя четкие цели. Хочет ли он гарантировать, чтобы черным клиентам не отказывали чаще, чем белым? Чтобы с женщин брали ту же цену, что и с мужчин?

Google скорректировал свой алгоритм после исследования с рекламой баз данных об арестах, но компании могут и сами проактивно мониторить и реагировать на подобные проблемы. Представьте, к примеру, что Uber заметил, что некоторые пассажиры постоянно ставят низкие оценки черным водителям, в то время как большинство высоко оценивает их. Подсчитывая общий рейтинг таких водителей, компания может снизить значимость оценок, выставленных пассажирами, которые проявили себя расистами.

Урок от симфонических оркестров

Конечно, платформы существуют в более широком общественном контексте; мы не можем создать мир, не обращающий внимания на расу и пол, просто разработав платформы, снижающие склонность к дискриминации. И, конечно, не стоит рассчитывать на то, что каждого разработчика платформы вдохновляет эта высокая цель; иногда дискриминация даже удобна для бизнеса. В таких случаях мы можем лишь взывать к чувству социальной ответственности лидеров бизнеса или надеяться, что вмешается законодательство.

Но во многих случаях принцип «получать выгоду, делая добро» вполне работает — если платформы могут снизить уровень дискриминации, не получив от этого убытков или даже повысив благодаря этому прибыль. Также может быть, что немногочисленные просвещенные компании запустят цикл добра, который заставит других участников рынка вести себя более гуманно.

Давайте вспомним, как решалась проблема равноправия в американских симфонических оркестрах. В середине 1960-х менее 10% музыкантов из «большой пятерки» американских оркестров (Бостонского, Филадельфийского, Чикагского, Нью-Йоркского и Кливлендского) были женщинами. В 1970-х и 1980-х в рамках более широкой инициативы по обеспечению равноправия оркестры изменили процедуру прослушивания, чтобы исключить влияние предубеждений. Теперь во время прослушивания музыкант находился за ширмой или другим заграждением, чтобы его не было видно. В знаменитом исследовании 2000 года экономисты Клаудия Голдин и Сесилия Руз обнаружили, что при наличии такой ширмы успех музыкантов-женщин на прослушиваниях увеличился на 160%! Согласно их выводам, увеличение гендерного разнообразия в оркестрах примерно на четверть обусловлено именно этим простым изменением процедуры. А сами оркестры только выиграли от того, что выбор музыкантов стал в большей степени зависеть от их способностей, а не от половой принадлежности.

Когда мы впервые познакомились с этой работой много лет назад, нас поразил уникальный взгляд на последствия дискриминации и масштаб влияния столь незначительного вроде бы изменения. Однако нам показалось, что такое решение очень сильно связано с конкретным контекстом. Было сложно представить себе, как исключить возможность влияния расовых или гендерных предубеждений на отношения между продавцами и покупателями или работодателями или кандидатами.

Но интернет-эпоха изменила и это. Мы уже давно стали свидетелями возможностей интернета для создания рынков, свободных от расовых, гендерных и возрастных предрассудков. Теперь наша эволюция зашла достаточно далеко для того, чтобы разработчики платформ могли выбирать, где и когда расставлять виртуальные ширмы. Мы надеемся, что они будут использовать эти возможности для создания более равноправного общества.

Впервые опубликовано в выпуске за декабрь 2016 года.

Отправить