Книга: Фабрика выбора: Как преодолеть 25 препятствий, которые мешают клиенту совершить покупку
Назад: Глава 21. Эффект Веблена
Дальше: Глава 23. Вариативность
Глава 22

Кризис воспроизводимости результатов

Как на него реагировать маркетологам

Ваш первый глоток кофе заставляет вас поморщиться. В течение последних двух недель коренной зуб мучительно ноет от горячего. Вы решаете позвонить дантисту, чтобы договориться о визите, прежде чем боль усилится. Администратор отвечает после нескольких гудков и, выразив сочувствие, проверяет расписание врача. «Я боюсь, — говорит она, — что Деннис может вас принять только в 10 часов утра в четверг». Вы записываетесь на это время и, убирая телефон, улыбаетесь из-за сходства имени и профессии своего дантиста.

Теория о том, что люди выбирают карьеру, связанную с их именем, называется номинативным детерминизмом. Вспомните о Саре Близзард (blizzard — метель, снежная буря), ведущей прогноза погоды на канале BBC, и Энн Уэбб (web — паутина), автора книги «Правильный уход за тарантулами» (Proper Care of Tarantulas). Больше всего мне нравится история о том, как в 1923 г. в журнале по неврологии Brain («Мозг») сменился руководитель: на место сэра Генри Хеда (head, голова) пришел человек с еще более подходящей фамилией — лорд Брейн (brain, мозг).

Эта концепция имеет долгую историю, и у нее было много известных сторонников. В 1952-м психоаналитик Карл Юнг сказал, что «иногда бывает довольно удивительное совпадение имени человека и его особенностей». Он отметил, что фамилия Зигмунда Фрейда, который ввел понятие «принцип удовольствия», переводится с немецкого как «радость».

В пользу этой теории говорят и результаты экспериментальных исследований. В 2002 г. три психолога, Брет Пелхем, Мэтью Миренберг и Джон Джонс из Нью-Йоркского университета в Буффало, опубликовали статью под названием «Почему Сьюзи продает ракушки на берегу моря» (Why Susie Sells Seashells by the Seashore). Проанализировав данные переписи населения США, они обнаружили, что стоматологов по имени Деннис на 88% больше, чем Уолтеров, хотя оба имени достаточно распространены. Ученые предположили, что причиной тому был скрытый эгоизм; люди любят свои имена и поэтому увлекаются деятельностью, название которой созвучно с их именем. Это веское объяснение, но оно неверно.

Анна продает ракушки на берегу моря, так же как и Сьюзи

Какими бы убедительными ни казались реальные истории и обоснования, они не подкреплены строгими доказательствами. Теория была разрушена в 2011 г. Ури Симонсоном из Школы бизнеса Уортона. Симонсон указал на тот факт, что имя Деннис наиболее распространено среди представителей большинства профессий. Имя Уолтер могло бы иметь такую же популярность, но его в основном предпочитали старшие поколения. Деннисы были просто более молодыми мужчинами трудоспособного возраста.

Номинативный детерминизм не единственная теория, которую стоит опровергнуть.

Брайан Носек, профессор психологии в Университете Вирджинии, попытался очистить психологию от «открытий», совершенных недобросовестными исследователями. Он пригласил 270 ученых для того, чтобы они повторили 98 психологических экспериментов, описанных в опубликованных работах. В зависимости от используемых статистических оценок только 36–47% проведенных вторично экспериментов дали такие же результаты, какие были получены в ходе первого испытания.

Но почему так мало?

В качестве причины указывались разные факторы: от прямого мошенничества до пи-хакинга — слепого тестирования десятков переменных в надежде на то, что по счастливой случайности некоторые из них дадут возможность получить статистически значимые результаты. Работа Носека призвана заставить нас быть осмотрительными и не придавать слишком большого значения результатам, подкрепленным только одним-единственным экспериментом.

Как применять этот эффект

1. Будьте скептичны, но не циничны

Серия экспериментов Носека вызвала большую шумиху. Некоторые из тех, кто критично относился к психологии, предложили просто игнорировать эту дисциплину. Байрон Шарп, профессор маркетологии в Университете Южной Австралии, высмеивал открытия в психологии, называя их цирковыми пони или хрупкими цветами исследовательского мира.

Но был ли он прав, отрицая психологию?

Дэн Гилберт, профессор психологии в Гарвардском университете, призывает к осторожности. Он раскритиковал некоторые положения методологии Носека и подчеркнул, что кое-какие из повторных исследований не были точным воспроизведением оригинальных. А ведь контекст — один из важнейших элементов социально-психологических исследований и поэтому не должен меняться в ходе проверки воспроизводимости эксперимента. Другие добавили, что часть ученых, привлеченных для участия в этом проекте, могла быть предвзято настроена из-за своего стремления разоблачить мифы.

Самый убедительны аргумент Гилберта заключался в том, что эксперименты были воспроизведены всего один раз. Предыдущая работа Носека, которая называлась «Повторное проведение эксперимента многими лабораториями» (Many Labs Replication Project), включала в себя множественное воспроизведение 13 экспериментов 36 лабораториями. Когда результаты были взяты в совокупности, оказалось, что подтверждены результаты десяти из 13 исследований, но, если бы были проанализированы результаты только одной лаборатории, можно было бы предположить, что проверку не прошли многие исследования.

Действительно, результаты некоторых исследований ошибочны, а некоторые могут быть даже подтасованы, но обвинять всю науку — это уж чересчур. Если вы отвергаете психологию во всей ее полноте, то почему бы не отказаться от других академических дисциплин?

Даниэль Фанелли, старший научный сотрудник Стэнфордского университета, предположил в статье, опубликованной в Nature, что воспроизведение испытаний может быть более важно для фармакологии и биологии рака. Кроме того, в 2016 г. Колин Камерер, профессор поведенческой экономики и финансов в Калифорнийском технологическом институте, опубликовал работу, в которой говорилось, что семь из 18 экспериментов в области экономики не удалось воспроизвести (или четыре, если использовался другой статистический показатель).

Эта проблема явно затрагивает дисциплины вне психологии. Отказ от психологических или экономических экспериментов в целом нецелесообразен. Однако работа Носека предполагает, что не следует принимать ни одного исследования в качестве окончательного доказательства. Если вы считаете, что выявили наличие предвзятости, проведите проверку в небольших масштабах, прежде чем вкладывать слишком много.

Действуйте с осторожностью, но не попадайтесь в ловушку цинизма.

Не принимайте ни одного исследования в качестве окончательного доказательства.

2. Маркетологи должны интересоваться прибылью, а не значимостью результатов

Оценивая, заслуживает ли ваше исследование публикации, ученые используют стандартный критерий: уровень значимости результатов должен достигать 95%. Это означает, что есть только одна возможность из 20, что результаты случайны. Именно эту пороговую величину применил Носек, изучая воспроизводимость исследований.

Но является ли 95% правильным базисным показателем?

Выбор этой конкретной цифры является произвольным. Уильям Сили Госсет, один из авторов понятия «статистическая значимость» (он разработал t-распределение Стьюдента), утверждал, что требуемая степень уверенности в истинности полученных данных должна соответствовать проблеме, с которой вы сталкиваетесь.

Представьте, что вы собираетесь переходить дорогу, и если вы лишь на 95% уверены в том, что вас не собьет машина, — это опасно низкий порог для действий. Однако, если вам предлагают ставку один к одному, ваш уровень уверенности может быть ниже. Если бы вы принимали ставки только тогда, когда были уверены, вы упустили бы много шансов на победу.

Есть цена действия, а есть цена бездействия. Чувствительность Госсета к контексту, вероятно, была связана с его коммерческим, а не академическим прошлым. Госсет работал в Guinness и был заинтересован в использовании статистических данных, чтобы выбрать лучшие сорта ячменя. Его целью было максимизировать прибыль, а не обеспечить абсолютную уверенность.

Многие маркетинговые решения не требуют 95%-ного уровня значимости результатов. Рори Сазерленд говорит:

«Я иногда спрашиваю ученых, есть ли у них какие-нибудь интересные неудачные эксперименты, которые мы можем использовать. Информация о том, что только 20% людей делают что-то ненормальное в течение 10% времени, бесполезна для научной статьи, но может быть применима в бизнесе».

Если потенциальные выгоды велики, а возможные потери минимальны, то стремление к 95%-ному уровню значимости результатов неоправданно. Этот профиль риска характерен для многих маркетинговых ситуаций.

Предположим, вы только что прочитали статью, в которой говорится, что люди с большей вероятностью заметят рекламу, если у них хорошее настроение. Ваш следующий шаг должен быть таким: проведите небольшой тест. Если окажется, что этот новый подход к таргетингу не лучше, чем прежние, — вам не следует больше его использовать. Вы ничего особенного не потеряли. Однако, если результаты теста превосходят ваше контрольное значение, вы можете повторять проверку снова и снова, каждый раз в большем масштабе. Результаты оказываются для вас благоприятны: неудача случилась единожды, успехи множатся.

Это должно вдохновить вас на охоту за новыми экспериментами в области психологии.

Всякий раз, когда идея выглядит многообещающе, проведите небольшой тест. Но, измеряя воздействие той или иной ошибки восприятия, убедитесь, что вы предусмотрели ее влияние на каждый сегмент своей целевой аудитории. Работа, о которой пойдет речь далее, показала, что ошибки восприятия влияют на разных людей различными способами…

Многие маркетинговые решения не требуют 95%-ного уровня значимости результатов.

Упорно ищите информацию о новых экспериментах, проводимых психологами.

Назад: Глава 21. Эффект Веблена
Дальше: Глава 23. Вариативность