10
Как интерпретировать рейтинги, полученные с помощью краудсорсинга
Мы живем в век краудсорсинга . Любой обладатель смартфона может прямо на ходу выставлять оценку ресторанам, книгам, фильмам и песням (от 1 до 5 звезд). Фокус-группы оценивают автомобили, соусы к пицце и кандидатов на выборах (по шкале от 1 до 10). О чем говорят – если говорят – эти рейтинги?
Может показаться, что максимум оценок должен приходиться точно на середину диапазона. Обычно это не так. Полученные с помощью краудсорсинга оценки чаще всего имеют пик около 7 из 10 (или в районе 70 процентов максимума, каким бы он ни был). С одной стороны, это может указывать, что мы достигли потребительской Валгаллы, когда вещи, которым мы даем оценку, в целом хороши. Однако у нас есть основания полагать, что все это может быть искусственно. Фокусники прекрасно знают, что люди склонны выбирать карту приблизительно в 70 процентах от начала разложенной колоды. Экстрасенс просит зрителей задумать число между 1 и 10 и в попытке угадать всегда называет 7, поскольку это самый популярный выбор. В 1976 г. Майкл Кубови и Джозеф Псотка из Йельского университета попытались выяснить, почему 7 обладает магическими свойствами. Они отправили семерых (!) студентов младших курсов в студенческий городок с заданием останавливать всех встречных и просить назвать цифру от 0 до 9, первую, которая придет в голову. Самой популярной оказалась семерка – 28 процентов. Реже всего выбирали 0.
Причин популярности семерки может быть много. Всем известны семь морей, семь гномов, семь смертных грехов, семь невест, семь братьев и усталость супругов друг от друга на седьмом году брака. Семерку считают счастливым числом.
Чтобы проверить возможные объяснения популярности цифры 7, Кубови и Псотка предложили студентам, изучающим вводный курс психологии, назвать первое пришедшее в голову число в диапазоне от 6 до 15. Результаты оказались совсем другими. Самым популярным оказалось число 9, немного опередившее 8 и 7. На этот раз только 17 процентов участников эксперимента выбрали 7.
В третьем эксперименте студентов Йельского университета просили «назвать первое пришедшее на ум число в диапазоне от 0 до 9, но не дробное, а целое, вроде 7». Формально этот эксперимент был повторением первого, поскольку все и так понимали, что имеются в виду целые числа, и говорить об этом не было нужды. Но результаты оказались иными. Популярность чисел 3, 5 и 7 была почти одинаковой, причем 7 набрала чуть меньше 17 процентов.
Мы уже видели, что упоминание одного из вариантов (в данном случае 7) или нарочитое внимание к нему может препятствовать тому, что люди его выбирают. По всей вероятности, именно это и случилось.
В последнем эксперименте одну группу попросили выбрать число от 20 до 29, а другую – от 70 до 79. В первой группе с большим отрывом победило число 27, на которое пришлось около 28 процентов ответов – точно такая же часть испытуемых выбрала 7 в первом эксперименте с диапазоном от 0 до 9.
Однако для диапазона от 70 до 79 число 77 оказалось менее популярным. Его выбрали только 16 процентов участников эксперимента. Очевидная причина заключалась в том, что студенты избегали 7 (поскольку выбранный диапазон привлекал внимание к этой цифре) или повторения цифр – или то и другое вместе.
Экстрасенс, желающий, чтобы доброволец из зрителей выбрал 7, требует ответа немедленно. Он знает: чем дольше думаешь, тем с большей вероятностью изменишь первоначальный выбор. Один из способов ускорить процесс – щелчок пальцами. «Назовите число от одного до десяти». Щелчок.
В эксперименте Йельского университета маловероятно, чтобы случайные прохожие тратили много времени на размышления. Их просили назвать первое пришедшее на ум число, а не «случайное». На практике наблюдается большое сходство между придуманными человеком числами независимо от того, как их называют, «случайными», «первыми пришедшими на ум» или как-то еще. В любом случае чаще всего встречаются семерки.
Кубови и Псотка предположили: их просьба назвать произвольное число создавала так называемую «уловку-22». Испытуемые опасались, что их инстинктивный выбор недостаточно случаен, и пытались перехитрить самих себя. «Субъект попадает в парадоксальную ситуацию: он может выполнить требование, только если не будет стараться его выполнить».
В целом испытуемые предпочитали нечетные числа четным, числа, не совпадающие с границами предложенного диапазона, а также те, к которым не привлекалось внимание. Во всех случаях 7 занимала уникальное положение, поскольку считалась… «особенной» цифрой.
Полученный при помощи краудсорсинга рейтинг – не эксперимент по имитации случайностей и не исследование первых побуждений. Участников просят выразить отношение к товару цифрой или положением на шкале. Это не так просто, как может показаться. Какой оценки заслуживает данный гастрономический паб, 3 или 4? Должен ли я оценить рекламу кандидата, порочащую соперника, 0 (поскольку я ненавижу негативную рекламу), или 10 (потому что она заставила меня волноваться за соперника)? Рейтинг предполагает выбор цифр, которые соответствуют целой гамме чувств – или полному отсутствию чувств.
Эксперимент Йельского университета можно рассматривать как фокус-группу в поисках товара. Не имея причины давать какую-либо оценку, участники называют первое пришедшее на ум число. Этот элемент присутствует в любом рейтинге, полученном с помощью краундсорсинга. Некоторые либо не имеют никакого мнения, либо думают, что допустим любой ответ. Скорее всего, они выберут нечетную цифру в конце предложенного диапазона, например, 7.
Некоторое время назад было опубликовано исследование, какой смысл подростки вкладывают в слово «нормально». Выбор 7 из 10 подобен угрюмому подростковому «нормально», обычному ответу, который означает «отстаньте от меня». Это одна из причин, почему групповые рейтинги могут быть обманчивыми. Заурядный товар может получить приличную оценку (много семерок), а затем провалиться на рынке. Если вы хотите узнать, купит ли потребитель этот товар, нужно прямо спрашивать его об этом.
В эксперименте в Йельском университете число 0 оказалось самым непопулярным, а за ним следовали 1 и 9 (верхняя граница, поскольку 10 отсутствовало). Это означает, что оценки в районе границ диапазона заслуживают наибольшего доверия. При взгляде на онлайновые результаты обращайте особое внимание на соотношение наименьшей (0 звезд) и наибольшей оценки (5 звезд). Если предположить, что они искренни, то именно этим людям нравится или не нравится продукт.
В отношении многих товаров количество недовольных не имеет значения, пока находится достаточно желающих совершить покупку. Альтернативное кино с высокой долей 5-звездочных оценок, вероятнее всего, понравится тем, кого привлекает имя режиссера или тема, а на количество 0-звездочных оценок можно не обращать внимания. Фильм не предназначен для того, чтобы понравиться кому угодно, и в сети найдется достаточно народу, любящего посмотреть «неправильное» кино. В случае широкой аудитории (например, блокбастера или семейного ресторана) 0-звездочные оценки более информативны. Они позволяют оценить вероятность отрицательного опыта.
Резюме: Как интерпретировать рейтинги, полученные с помощью краудсорсинга
• Люди, которых просят назвать первое пришедшее в голову число в диапазоне от 1 до 10, чаще всего выбирают 7. Это может исказить оценки фокус-групп и рейтинги, полученные в интернете с помощью краудсорсинга.
• Доля участников, присваивающих продукту наивысший рейтинг 10 (или 5 из 5 возможных звезд), может точнее отражать потенциальные продажи продукта, чем усредненная оценка.