Вы проверяете сотрудников. Вы тестируете свою продукцию. Почему бы в таком случае не проверять и ваши решения?

Хэл Вэриан, автор двух известных учебников по экономике, над которыми уже не один год корпят студенты, недавно занял должность главного экономиста в компании Google. Можно понять, зачем Google нужны бухгалтеры, – суммировать всю полученную прибыль и минимизировать налоги, но вот зачем компании понадобился экономист?

Если коротко, чтобы проводить эксперименты. В учебниках Вэриана экономика описана как абстрактная научная дисциплина в виде набора математических моделей. Но, по словам Хэла Вэриана, в мире больших данных по-настоящему ценны такие экономисты, которые в состоянии соотнести теорию с тем, чем вы занимаетесь на практике.

Эксперименты – это один из важнейших способов принятия решений в компании Google. «Все знают о больших данных, – говорит Хэл Вэриан. – Большие данные нередко отражают только корреляцию, но не причинно-следственные отношения. В Google, чтобы узнать о чем-то в любой конкретный момент времени, мы проводим более 1000 экспериментов».

Ранее я уже объяснял, почему корреляция не всегда бывает причиной или следствием и что есть способы определить, действительно ли одно явление вызывает другое. Один из лучших способов для этого, если он вам доступен, – это так называемое рандомизированное контролируемое исследование. Для его проведения вы случайным образом формируете две группы: А и В. Вы изменяете только один фактор в группе В и оцениваете ее результат. Если он тоже оказался другим, то, скорее всего, это вызвано изменением того самого фактора.

Возможно, вы тоже, сами того не зная, принимали участие в экспериментах Google. Например, компания постоянно меняет последовательность отображения результатов поиска, чтобы выдавать наиболее полезные результаты в первых строках списка. Для проверки эффективности изменений компания может предложить половине пользователей новый способ отображения результатов поиска, а половине – старый, а затем проанализировать, какой из них удобнее для потребителей.

У крупных технологических компаний есть преимущество при использовании этого метода – ежедневно к их услугам прибегают миллионы пользователей. Компании имеют возможность случайным образом выдавать пользователям разные дизайны сайта, чтобы посмотреть, какой из вариантов генерирует больше продаж, или даже протестировать новый тип шрифта или логотип.

У вас может не быть подобной роскоши, но вы (в разумных пределах) способны приблизительно воспроизвести этот метод. В реальной жизни естественные эксперименты происходят сплошь и рядом, это ситуации, в которых меняется только одно обстоятельство. Каждое принятое вами решение, по сути, не что иное, как естественный эксперимент. Определите интересующие вас показатели до принятия решения (например, число дней, которое ваши коллеги берут по болезни). Определите этот показатель после принятия решения. Сравните полученные результаты, уделяя внимание тому, чтобы сравнивались сопоставимые вещи. Внедрите этот метод во все свои проекты (часто мы бываем так рады, что нам в принципе удалось принять решение, и так боимся, что оно могло оказаться неверным, что не анализируем его впоследствии).

Проблема в том, что данные могут вас подвести. В большинстве случаев информация, полученная при проведении естественных экспериментов, оказывается ненадежной основой для принятия решений.

• В Сан-Франциско исследование, проведенное управлением городского транспорта, показало, что ежемесячное число поездок на единицу такси снизилось с 1424 в месяц в марте 2012 года до 504 в июле 2014 года: падение составило 65 %, а в качестве его причины назвали появление сервиса Uber. Проблема заключалась в следующем: разница в этих двух выборках была вполне предсказуемой, потому что в июле жители Сан-Франциско обычно пользуются такси гораздо меньше; кроме того, количество автомобилей-такси на дорогах увеличилось. Другие данные опровергают сделанное заключение о негативном влиянии сервиса Uber на службу такси. Когда одна из компаний-перевозчиков проанализировала данные за октябрь 2012 года и октябрь 2014 года, оказалось, что стоимость проезда в такси выросла на 3 %.

• В 2010 году в Великобритании средняя почасовая оплата работы студентов-выпускников составляла $21,37, а средняя почасовая оплата тех, кто пошел работать сразу после школы, $13,27. Следовательно, можно было бы предположить, что «цена образования» составляет $8,1 за каждый час работы в будущем. Тем не менее это не так, потому что в данном случае сравниваются не одинаковые выборки: люди, получившие образование, вероятно, в любом случае зарабатывали бы больше, потому что у них были лучше результаты в школе, они были более заинтересованы в получении высокооплачиваемой работы, для которой требуется высшее образование, и так далее. То есть это отличие обусловлено многими факторами, а не одним.

• В Германии обеспечение прав отцов на отпуск по уходу за новорожденным привело к увеличению числа отцов, которые воспользовались этим правом, в шесть раз. Могла ли подобная ситуация сложиться в Великобритании? Вероятнее всего, нет. В Германии, например, гарантии трудовой занятости гораздо выше. Так что невозможно автоматически переносить результаты эксперимента в одной стране на население другой страны.

С другой стороны, если вы проводите эксперименты с продуктами, то почему бы не протестировать решения? Что для этого нужно?

1. Тщательно определите исходные условия. Выявите другие факторы, чтобы у вас была возможность измерить неожиданные последствия (например, вы можете продать больше единиц продукции, но тогда вам придется и больше работать). Точная оценка начальных условий – это ваша основа.

2. Подумайте, можно ли протестировать ваше решение при помощи двух групп: контрольной (без изменений) и экспериментальной (с изменением), чтобы определить разницу. При этом группы должны быть максимально похожими и вы не должны «наказывать» одну из групп, например, случайным образом ограничивая перерыв на обед.

3. Обращайте внимание на сезонные или географические изменения. Лето и зима, город и сельская местность, онлайн и офлайн – это все разные условия, и результаты тоже будут разными.

4. Тестируете ли вы свое решение на тех людях, которых оно будет непосредственно касаться? Например, проверить его на рядовых сотрудниках, а затем применить к руководящему звену не самая лучшая идея. Если вы протестируете решение на сотрудниках, а затем попытаетесь применить его к клиентам, из этого тоже мало что получится.

5. Будьте готовы к отрицательному результату. Например, если вы проверяете новую систему по работе с электронной почтой на половине сотрудников и видите, что эффективность работы упала и остается низкой, у вас должна быть стратегия, как вернуть все на исходную позицию.

6. Будьте готовы к положительному результату. В качестве простого эксперимента можно попробовать пилотное изменение или протестировать двух поставщиков. Если пилотное изменение себя оправдает, у вас должен быть запас времени и средств, чтобы согласовать эти перемены и реализовать их.

Два заключительных предупреждения: не любая разница в итогах будет значимой. Некоторые результаты, которые кажутся успешными, могут на самом деле быть случайными: вы просто выиграли лотерею при проведении эксперимента. Это трудно обнаружить, и для этого требуется некоторая подготовка в работе со статистическими данными. Самый простой способ исключить элемент случайности – это повторить эксперимент с другой тестовой группой. Кроме того, даже если полученный результат не случаен, степень его влияния может быть не такой важной. Недавно один из специалистов по маркетингу поделился со мной, что нашел способ прогнозировать объем будущих продаж на основе активности пользователей в твиттере. По его словам, достоверность его прогноза составляла 60 %, как и показатель, основанный на активности пользователей на сайте компании. Но вы уже можете бесплатно или почти бесплатно отслеживать это на корпоративном ресурсе. Значит, ваш эксперимент был успешным, но абсолютно бесполезным.