Войти в систему
Войти с помощью соц. сетей:
Те, кто только начинает системно работать над ростом в своих проектах, часто допускают одну ошибку. Они пытаются подсматривать за тем, какие эксперименты проводят в других компаниях, и повторять их. Этот простой и эффективный на первый взгляд путь не ведет к положительным результатам. То, что сработало у одних, совершенно не обязательно сработает у других.
Чтобы эксперименты приносили пользу, нужно исходить не из решений, а из задач, которые требуется решать. Чтобы решаемые задачи помогали растить бизнес, нужен отлаженный процесс и выверенный подход к приоритизации экспериментов.
Эксперименты проводят, чтобы находить лучшие решения, которые помогут повысить главную метрику бизнеса (NSM), не потратив лишних ресурсов на внедрение нерезультативных решений.
Выделяют два типа задач, решаемых экспериментами роста:
В обоих случаях необходимо отслеживать дальнейшее влияние экспериментальных изменений не только на целевые метрики, но и на другие важные показатели. Например, если вы хотите увеличить конверсию в регистрации, вам нужно следить за тем, как клиенты из тестовой группы в дальнейшем будут использовать продукт и конвертироваться в платящих. Эксперименты должны основываться на твердых гипотезах и глубоком понимании поведения пользователей. Мало у кого есть ресурсы, время и необходимые объемы данных, чтобы проверять любые интересные предположения. Вам придется выбирать гипотезы, которые имеют наибольший потенциал.
Важную роль в процессе отбора гипотез играет подробная документация. Она включает результаты ранее проведенных исследований, графики по основным метрикам, формулировки гипотез и цели новых экспериментов. Документирование процесса работы над экспериментами помогает точнее формулировать предположения, оценивать ожидаемый эффект и потенциальный успех.
Документация должна быть открытой для всех заинтересованных сторон в компании. Это позволит делиться знаниями как внутри команды, так и с другими отделами и руководителями, ответственными за рост бизнеса.
Процесс каждого эксперимента проходит по отлаженной схеме, которая позволяет повысить эффективность работы и добиться лучших результатов.
Прежде всего должна быть сформулирована гипотеза, которая ляжет в основу эксперимента.
Гипотеза становится основной для открытого обсуждения в команде, во время которого каждый может предлагать свои идеи касательно детализации гипотезы и способов ее проверки. Итогом обсуждения становится список идей и возможных экспериментов, а также ответственные за дальнейшее исследование и проработку каждого эксперимента.
На этом этапе исследуются уже имеющиеся данные, проводятся интервью с пользователями, обсуждается возможный эффект и нюансы реализации. Необходимо найти ответы на несколько вопросов:
Основная цель этапа: оценить, достаточное ли влияние на бизнес может оказать эксперимент, чтобы покрыть издержки на его организацию и внедрение.
Ответственный доказывает команде, почему должен быть запущен именно этот эксперимент, и объясняет, какие результаты он может принести.
На этом этапе описываются ключевые составляющие эксперимента: что он будет собой представлять, какие пользователи попадут в тестовую группу, сколько данных потребуется для статистической значимости, в какой момент эксперимент может быть остановлен.
Эксперименты проводятся не только для улучшения конкретных конверсий и локальных метрик. Результатом эксперимента должен стать рост главной метрики бизнеса. На этой стадии прогнозируются конкретные результаты, которые эксперимент должен показать на разных уровнях бизнеса.
Эксперимент должен иметь четко заданный критерий, который определяет его успех. Это может быть как достижение определенного результата из предыдущего пункта, так и получение ответа на важный вопрос, который поможет команде эффективнее работать в дальнейшем.
Когда эксперимент полностью сформулирован и подробно описан, он проходит еще один фильтр. Каждый участник команды должен внимательно изучить информацию об эксперименте и подтвердить, что согласен со всеми ключевыми тезисами. Важно, чтобы на этом этапе обсуждение не замыкалось на организационных деталях. Эксперимент уже достаточно проработан, теперь важны только принципиальные моменты и уверенность в успехе.
Из исследований, обсуждений и оценок получены достаточные представления о потенциальном воздействии эксперимента и усилиях, необходимых для его запуска. Теперь нужно спланировать реализацию и запустить эксперимент.
Когда эксперимент завершен, ответственный анализирует собранные данные. Важно, чтобы были соблюдены все необходимые критерии, заданные на этапе моделирования эксперимента, и данные были на 100% прозрачными для других участников команды. Это позволит избежать искажения результатов эксперимента в пользу подтверждения первоначальной гипотезы.
На ближайшей встрече команда должна обсудить свежие результаты эксперимента, зафиксировать полученные знания и спланировать дальнейшие шаги. Во время обсуждений часто рождаются новые гипотезы и идеи экспериментов.
Итеративный процесс экспериментирования, включающий в себя командные обсуждения и несколько этапов фильтрации, помогает формулировать много гипотез и доводить до экспериментов только лучшие из них.
Войти с помощью соц. сетей: