Глава 21

БОЛЬШОЕ ТЕСТИРОВАНИЕ ВАЖНЕЕ БОЛЬШИХ ДАННЫХ

Данные стали путеводной звездой маркетинга и бизнеса. В последнее время мы двигались в сторону принятия большего количества решений в маркетинге на основе данных, привнесения аналитической строгости в дисциплину, которая всегда основывалась на инстинктах. В современном маркетинге интуиция все еще играет важную роль, но данные обеспечивают систему проверки и баланса внутреннему голосу, противостоят предубеждениям, которые могут повести по неверному пути.

Цифровой мир привел к экспоненциальному взрыву данных, и для описания этого явления появился термин «большие данные», который описывает ряд характеристик: объем, скорость и разнообразие. Объем больших данных — гигантский. Скорость — это увеличение темпа, с которым новые данные генерируются и обрабатываются. Разнообразие — это широчайший диапазон собранных вместе различных типов данных в структурированном и неструктурированном формате.

Большие данные получили широкое признание благодаря своему потенциалу в сочетании с технологией машинного обучения, обеспечивающему прогнозную аналитику. Имеется в виду, что большие данные помогают ответить на вопрос: какие потенциальные клиенты особенно склонны к покупкам и, вероятно, пожизненно станут приобретать ваш продукт; данные также способствуют лучшей автоматизированной персонализации многих точек взаимодействия с клиентами. Это очень интересный поворот в маркетинге.

Тем не менее большие данные можно считать семенами, из которых нужно выращивать полезную информацию. Сами по себе данные инертны, они не меняются, пока кто-то не начнет что-то с ними делать с помощью программы. Данные могут информировать о виде деятельности, который мы развиваем, но мы сами должны позаботиться о том, чтобы они нам пригодились.

Один из самых простых, но эффективных способов активировать данные — это проверка. Мы можем найти в данных интересные закономерности, использовать их для формирования гипотез, а затем проводить эксперименты ради того, чтобы определить, будут ли наши предложения успешно работать в маркетинге. Результаты экспериментов часто и есть наиболее ценный вклад в принятие решений, управляемых данными.

Не все данные одинаковы, их качество варьируется — от «грязных» (необработанных), неточных до «чистых», намытых, словно крупицы золота, из сырых данных и тщательно выверенных. Как понимать определенную совокупность данных, зависит от контекста: когда и где они собраны, как и от кого получены, какие намерения были у этих людей (что не всегда можно выяснить). Нужно быть осторожными, чтобы не делать преждевременных выводов. При изучении больших данных, например, нередко обнаруживаются интересные корреляции между двумя и более объектами, поэтому они кажутся связанными между собой. Но, как говорят специалисты по обработке данных, корреляция не обязательно означает причинно-следственную связь.

Чтобы доказать, что одно событие служит причиной другого, нужно провести тестирование. В идеальном случае все остальные факторы остаются постоянными, а мы проверяем последствия изменения только одной переменной, то есть проводим управляемый эксперимент, что не всегда доступно, особенно в случае маркетинговых экспериментов, требующих времени. Тем не менее мы стараемся делать лучшее из того, что можем. В этом суть научного подхода.

Наука маркетинга включает в себя больше, чем просто аналитическое мышление. Научный подход рассматривает почти все положения в области маркетинга как гипотезы, требующие тщательной проверки. К счастью, благодаря адаптивности цифровой среды проводить тестирование в цифровом маркетинге легче, чем в большинстве других случаев. Относительно просто также проводить эксперименты с использованием А/B-тестирования с помощью различных маркетинговых программ. Маркетологи имеют доступ к достаточному количеству потенциальных клиентов, чьи действия изучают ради достижения статистической значимости в результатах исследований. Причем рис. большинства маркетинговых экспериментов при условии тщательного проведения сравнительно низкий.

Хотя большие данные имеют значение для современного маркетинга, еще важнее для него большое тестирование — организационные возможности, обеспечивающие непрерывные исследования и масштабные эксперименты. Три условия делают такое тестирование действительно масштабным:

1. Готовность проверять большие идеи.
2. Открытый подход к решению проблем, поощряющий масштабное тестирование в компании.
3. Руководитель, приверженный тестированию, который поддерживает широкий размах мероприятия.

В свою очередь, масштабное тестирование дает возможность ответственно внедрить смелые бизнес-идеи, так как доказывает их правильность поначалу в малом масштабе. При этом возникает доверие, необходимое для создания большого опыта. Речь идет о замечательном клиентском опыте, который выделяет компанию среди конкурентов.

Мы можем представить совокупность больших данных с исследованиями в виде концентрических кругов (рис. 21.1). Большие данные расположены в центре, окружены большим тестированием, доказывающим или опровергающим гипотезы о рынке, которое затем позволит аудитории получить большой опыт. По мере того как мы движемся от внутреннего анализа к учету влияния внешнего мира, увеличивается сила действий, основанных на данных.

Остановимся подробнее на каждом из трех условий большого тестирования.

БОЛЬШОЕ ТЕСТИРОВАНИЕ РАЗЫСКИВАЕТ БОЛЬШИЕ ИДЕИ

Как уже было сказано, семена инноваций — это идеи. Первое условие большого тестирования — стремление к поиску и опробованию больших идей. Если идея раздвигает границы статус-кво, изучает новые способы привлечения аудитории, стремится проверить значимые гипотезы о бизнесе, она считается большой.

Пожалуй, можно считать Стива Джобса с его девизом «думай иначе» покровителем великих идей.

Большим идеям противопоставляются малые, которые часто опробуются при оптимизации цифровых маркетинговых программ, таких как тестирование незначительных изменений в презентации. Например, проверка различных заголовков или цвета кнопки на целевой странице — это малые идеи оптимизации. Тем не менее такая оптимизация очень ценна и улучшает результаты. Но чтобы добиться по-настоящему большого успеха, приходится экспериментировать, выходя за пределы существующей структуры. Вместо того чтобы подстроить существующую систему, хочется попробовать альтернативные концепции, которые могут открыть новые возможности и поток ценности в путь покупателя или вывести на рынок принципиально иные предложения. Например, вместо тестирования разновидностей целевой страницы, предлагающей электронную книгу, мы можем проверить две разные идеи: целевую страницу с рекламой вебинара с тем же материалом и страницу с интерактивным инструментом, который позволяет участникам оценить собственную пригодность к принятию решения. После того как удастся определить, какая из них оказывает наибольшее воздействие, можно заняться оптимизацией настроек страницы.

Представить разницу между большой идеей экспериментирования и малой идеей оптимизации можно в виде бесконечно длинного графика, включающего все идеи, которые можно реализовать в определенной точке взаимодействия с потенциальным покупателем (рис. 21.2). График показывает, насколько хорошо будет работать каждая идея. Те из них, что мало отличаются друг от друга, расположены рядом, а непохожие разделяет большое расстояние.

Малая идея оптимизации начинается в одной из точек на графике и делает небольшие шажки, при этом вносятся незначительные изменения, чтобы выяснить, нет ли поблизости более производительных вариантов. После изучения прилегающих областей графика находится самая высокая точка, и тут оптимизация упирается в потолок; возможно, мы уже не сможем получить ничего лучшего. Такая точка называется локальным максимумом. Вполне возможно, что это не самая высокая точка на графике, другими словами, не глобальный максимум. Но это высший пункт, которого можно достичь, делая небольшие шаги.

Чтобы получить лучший результат, нужно перейти в другое место на графике, то есть сделать скачок с большой идеей — экспериментом. Нет никакой гарантии, что скачок в один сегмент даст хороший результат, но ряд далеких скачков перед остановкой на поэтапной оптимизации повышает шансы попасть на благоприятную почву.

Кстати, связь между маркетингом и программным обеспечением, состоящая в таком подходе — большие прыжки, за которыми следуют небольшие шаги, — имитирует эффективный алгоритм машинного обучения под названием метод имитации отжига, который оценивает оптимальные параметры функции.

Как узнать, достаточно ли велика идея? Один из критериев оценки дает нам ответ на вопрос «Что мы узнаем об аудитории в связи с удачей (или неудачей) эксперимента?». Если в результате мы получим полезные сведения о рынке, которые можно использовать для движения вперед (в уже упоминавшейся книге «Бизнес с нуля» этот подход называется «обоснованным знанием»), идея считается большой.

Придумывать большие идеи трудно, но именно в этой области можно обнаружить конкурентные преимущества. Здесь нам поможет «мозговой штурм», описанный в предыдущей главе, — например, генерации идей очень способствуют дизайн-студии.

Сложность разработки хороших гипотез и эффективных способов их проверки делает науку творческой дисциплиной в той же мере, что и аналитической. Говоря о маркетинге, мы не исключаем творчество. Напротив, это руководящий принцип маркетинга.

БОЛЬШОЕ ТЕСТИРОВАНИЕ СПОСОБСТВУЕТ ОТКРЫТОМУ ПОДХОДУ

Второй принцип большого тестирования — широкий размах. Многие сотрудники компании должны быть мотивированы и иметь полномочия на проведение экспериментов в ходе своей работы. Тестирование не ограничено узким кругом специалистов, оно широко используется для улучшения многих аспектов бизнеса.

У такого подхода к тестированию есть три преимущества. Во-первых, при взрывном росте цифровых точек взаимодействия существует максимум возможностей для улучшения отношений с клиентами. Охват веб-страниц, имейл-рекламы, контента и социальных сетей больше, чем способность любого «короля тестирования» (или даже специальной команды) справиться с этим в одиночку. Распределение прав на тестирование среди всей маркетинговой команды помогает осилить большую часть открывающихся возможностей.

Во-вторых, широкое распространение культуры экспериментирования в компании предотвращает ее сползание в инерцию. Благодаря постоянной перепроверке предположений компания получает больше шансов обнаружить ранние сигналы изменений на рынке. Она чаще находит новые выигрышные тактики, поскольку активно их ищет. Экспериментирование включает двигатель непрерывного совершенствования.

И в-третьих, проектирование и тестирование помогают людям глубже вовлекаться в работу. Проведение экспериментов побуждает их задумываться о том, что они делают по-новому, направляет на путь непрерывного обучения и развития, расширяет возможности опробования новых идей на практике. Хорошее тестирование — это и навык, и образ мышления, создающие ценный вид организационного капитала в цифровом мире.

Большое тестирование — естественная часть agile-маркетинга. И для него много небольших экспериментов важнее нескольких крупных активностей.

Конечно, не все эксперименты одинаковы. В зависимости от того, где и какие тесты используются, маркетологи сталкиваются с разной степенью потенциального влияния на бренд. Наблюдаются также большие или меньшие расхождения с результатами других тестов, которые могут проводиться в то же самое время. Например, тестирование двух версий электронных писем для контент-маркетинга, ориентированных на узкие сегменты аудитории, ограниченно влияет на бренд. Маловероятно, что оно помешает другим тестам, проводимым в это же время. При этом тест ценообразования, запущенный на главной странице сайта, может значительно повлиять на бренд, и любые другие пробы, связанные с ценами или вводимые на той же странице, должны быть четко с ним скоординированы.

Эти сценарии представлены в матрице (размером 2 × 2) связи влияния бренда и конкуренции, приведенной на рис. 21.3. Эксперименты с малым влиянием на бренд и низкой конкуренцией не требуют особых формальностей в управлении. Многие из них могут проводиться параллельно. Регулирование экспериментов с сильным влиянием на бренд и высокой конкуренцией, такие как тест ценообразования на главной странице, должны быть строго формализованы. Эксперименты в двух других квадрантах будут более результативны при серьезном контроле, но не должны становиться из-за этого узким местом.

«Король» или группа тестирования могут служить центральным органом по координации тестов, которые нуждаются в определенной степени формализованности, чтобы их можно было провести без риска. Но эта роль — скорее инструмент, чем регулирующие функции при обучении сотрудников организации и поддержке их широкого участия в тестировании. Показатель успеха — количество правильно проведенных тестов во всей компании.

БОЛЬШОЕ ТЕСТИРОВАНИЕ — ЭТО БОЛЬШОЕ ДЕЛО ДЛЯ РУКОВОДСТВА

Наконец, третий принцип большого тестирования — активная поддержка руководством культуры экспериментирования в компании. Руководители обязаны оказывать всяческую поддержку этой культуре. Благодаря такой поддержке у сотрудников появляется повод считать тестирование неотъемлемой частью своей работы.

Тестирование считается важным, если CEO компании подчеркивает это в своих ежегодных письмах к акционерам. Например, Джефф Безос хвастался, что в 2013 году Amazon.com провела 1976 экспериментов по улучшению сайта и продукта, тогда как в 2012 году их было 1092, а в 2011-м всего 546, то есть ежегодно количество экспериментов росло более чем на 80 процентов.

Тестирование становится важным, когда его признают и проводят в большом количестве экспериментов, даже если только небольшая их доля оказывается результативной. Например, Джим Манци в своей книге Uncontrolled: The Surprising Payoff of Trial-and-Error in Business, Politics, and Society пишет, что компания Google в 2009 году провела около 12 тысяч экспериментов, но лишь около 10 процентов из них привели к изменениям в ведении бизнеса. Благодаря желанию опробовать столько новых идей Google ввела около 1200 значимых изменений, улучшивших ее бизнес. Конечно, Amazon.com и Google — цифровые гиганты, поэтому они проводят так много экспериментов. Тем не менее их принцип применим в любом бизнесе в цифровом мире.

Лучше всего важность тестирования в культуре компании сотрудникам подтверждает стремление руководства всячески подчеркнуть ценность тестирования для agile-маркетинга и приоритет данных над мнениями и условностями.

У каждого из нас есть своя точка зрения. Но в маркетинге направленность действий, как правило, определяется мнением руководителя. Популярный блогер-аналитик Авинаш Кошик назвал это явление HiPPO (the highest-paid person’s opinion) — мнением человека с самой большой зарплатой. С помощью экспериментов мнения могут превратиться в гипотезы. Иногда конкурируют несколько мнений, и чтобы определить, какое из них правильное, нужно запустить тест. В этом случае потенциальные и реальные клиенты выберут победителя опытным путем. В конце концов, их мнение самое важное.

В среде большого тестирования руководство не трактует собственное мнение как исключение из тестоориентированного подхода, а с удовольствием предлагает его в качестве гипотезы, которую необходимо проверить. И если идеи руководителей не победят, то станут учебным материалом, демонстрирующим, почему лучше тестировать, чем слушать голос интуиции, ничего не проверяя.

То же самое относится и к правилам компании. Конечно, важно уважать традиции как неотъемлемую часть бренда, однако чрезмерное почтение к тому, что «мы всегда так делали», может стать оправданием для инерции. Руководители, исповедующие культуру большого тестирования, время от времени проводят тщательную проверку правил, чтобы подтвердить заложенные в них предположения о рынке. Как говорится, иногда из священных коров получаются лучшие бифштексы.

Большое тестирование управляется всеми этими принципами в целях увеличения охвата, скорости и разнообразия экспериментов — теми же характеристиками отличаются и большие данные. Тестирование становится механизмом для инноваций и проверки новых идей, которые затем нужно масштабировать.

Отправить