Что такое data driven-культура?

Не давая официальных определений, попробую дать свое: data driven-культура – это подход к управлению продуктом (и компанией!), заключающийся в том, что основным критерием принятия решения являются данные.

Хочу обратить внимание на два пункта из этого определения.

– Основной, но не решающий критерий. Это важно. В принятии решений в первую очередь опираются на данные, но имеют в виду не только их, но и, например, мнение собственников.

– Данные. Что такое вообще данные? Здесь это может быть не только таблица в Excel, но и результат изучения рынка, а также знания человека, принимающего решения, максимально лишенные при этом субъективности.

Все ли мы можем получить с помощью данных? На все ли есть ответы в тех данных, которые проект (или другие проекты) накопили к тому моменту?

Конечно же, нет. А раз так, то в data driven-культуре во главу угла ставится контролируемый способ проверки – A/B-тест (он же сплит-тест), и ему посвящу отдельный раздел.

Есть компании, которые настолько не data driven, что даже data resistant: «Ой, не нужны нам эти ваши отчеты, мы и без вас знаем, что делать».

В data driven-культуре же наоборот: отчет – это важная сущность, которая сопровождает принятие решения. При этом, что важно, как до решения (чтобы принять его более точно и, например, четче прописать фичу, которая будет внедрена в игру), так и после (чтобы проверить, действительно ли мы приняли правильное решение, сделав это максимально беспристрастно).

Но при этом: если в компании производится множество отчетов, можно ли ее назвать data driven? Нет.

Например, у игры за прошлую неделю упал доход, и аналитик даже подготовил об этом отчет. Это data driven? Вовсе нет. А почему же?

– Во-первых, этот отчет прочитали? Все ли, кто причастен к доходу, знают об этом падении? Если отчет есть, это еще совсем не значит, что его прочитали или прочитают. И чтобы его читали, аналитику надо его делать интереснее (смотри главу про то, каким должен быть отчет), менеджеру компании – позаботиться о том, чтобы люди, принимающие решения, всегда читали и комментировали отчеты, ну а те, кто принимает решения (продюсеры, например), должны сделать их частью своей профессиональной жизни.

– Во-вторых, почему упал доход? В описанном отчете мы только констатировали факт: доход упал. Но совсем не поговорили о причинах. Задача аналитика – разобраться в том, что произошло, и дать не только четкий диагноз проблеме, но и рекомендации по тому, что теперь делать.

– В-третьих, почему мы узнали об этом только через неделю? Почему нас не предупредили в первый день падения? А можно ли было предугадать проблему и заранее предложить, что с этим делать.

Если компания сработает по этим пунктам, то можно начинать говорить о data driven.

В data driven-компаниях при принятии решений четко выделяются несколько этапов.

– Подготовка и анализ данных. Это как раз то, что и является основной задачей аналитика.

– Принятие решения. Здесь собираются все те, кто причастен к принимаемому решению. Среди них обязательно должен быть аналитик! Как правило, финальное решение по проекту в игровой студии – за продюсером. При этом на данном условном совещании желательно присутствие и геймдизайнера, если речь идет про какое-то нововведение в игре. И задача (а то и обязанность) аналитика – предложить решение, с которым согласятся все участники.

– Собственно действие. Принятое на основании данных решение внедряется в жизнь. Например, в игру внеслись какие-то изменения.

Чего не хватает в этих этапах? Правильно, логической стрелочки из последнего пункта в первый. Предприняв какое-то действие, мы должны снова отправиться на этап изучения данных: все ли мы сделали правильно? Чем быстрее при этом соберутся данные, тем быстрее мы сможем принять новое решение.

Таким образом, data driven-культура циклична – это целый процесс, повторяющийся регулярно и не останавливающийся ни на секунду.

Помните старый анекдот?

Летят в самолете Петька и Василий Иванович. Василий Иванович спрашивает:

– Петька, приборы!

– 200!

– Что «200», Петька?

– А что «приборы»?

При работе data driven-культуры часто слышен скрежет шестеренок: далеко не всегда те, кто отвечает за данные (аналитики), понимают тех, кто принимает решение (продюсеры). И чем плотнее будут работать аналитик, продюсер и – давайте добавим в эту триаду еще одного постоянного участника – геймдизайнер, чем более понятно аналитик будет доносить до них свои мысли, тем ближе итоговый процесс будет к data driven-культуре.

Что еще очень важно – мы всегда должны пропускать обсуждаемые тезисы через один фильтр. Это вопрос «Чтобы что?» Мы вносим это изменение, «чтобы что?» Мы собрались здесь, «чтобы что?»

Помню, ко мне подошел продюсер проекта и попросил подготовить отчет на тему, как часто игроки из Марокко используют одну из фичей игры. Подготовка данного вопроса у меня заняла несколько часов, и вот наконец я был готов явить итоговый ответ.

Продюсер сказал что-то типа: «А, ну понятно», и я кое-что заподозрил. Я спросил: «А зачем тебе это надо было вообще?»

«Да просто так, любопытно», – ответил продюсер.

Если бы и продюсер, давая мне эту постановку, задавался волшебным вопросом «Чтобы что?», и я задал бы его, чтобы лучше разобраться в контексте задачи, это сэкономило бы всем нам несколько часов.

Поэтому, подходя к аналитику с задачей, будьте готовы ответить на вопросы: что делать? зачем это делать? что мы будем делать после?

Ну а если вы аналитик, то запишите эти три вопроса и повесьте над рабочим местом.

Таким образом, data driven-аналитик:

– проактивен и генерирует гипотезы;

– влияет на принятие решений;

– участвует в треугольнике: продюсер – геймдизайнер – аналитик;

– ум, глаза и здравый смысл бизнеса;

– отключает интуицию и представляет сторону данных на совещаниях;

– …и вообще, стоит сказать, что data driven-аналитик – это тавтология.

Можно выделить следующие особенности data driven-культуры.

– Руководители data-грамотны; они знают, что без отчета никуда.

– Высокая культура A/B-тестирования. Если мы не уверены (а так чаще всего и бывает) – мы проверяем гипотезу через сплит-тест.

– Аналитики генерируют идеи, а не только предоставляют отчеты. Проактивность, запомните!

– Совместный синтез гипотез. Аналитик в принятии решений ничуть не менее важен, чем продюсер.

– «Мы не знаем ответ, давайте найдем его с помощью анализа». Выжжем эту фразу на сердце железом раскаленным.

Но, как ни странно, data driven-культура – это не апофеоз.

Есть еще один, более высокий уровень познания аналитического дао – это data informed-культура.

Data informed-подход – это подход, который подразумевает использование данных при принятии решения лишь как один из многих факторов.

Опираться только на данные – это, как бы мне ни хотелось обратного, крайность. Опираться исключительно на субъективные мнения – другая. Ведь истина, как и во многих других случаях, находится в балансе этих двух подходов, именно это и называется data informed.

Все же мнение собственников бизнеса не учитывать нельзя: они как-никак создали компанию, они визионеры и смотрят чуть дальше и выше.

Что при этом важно, data informed строится именно на фундаменте data driven, и никак иначе. Неправильно было бы миновать data driven в своем пути к data informed. То есть собственники принимают решения и на основании своего опыта и визионерства, и на основании данных, специально подготовленных кропотливыми аналитиками.

Data driven позволяет нам найти некоторый локальный максимум. Если мы находимся в конкретной точке пространства, то с помощью данных (например, с помощью десятков A/B-тестов) мы сможем найти вершину ближайшего к этой точке холма. Но будет ли эта вершина глобальным максимумом, которого мы можем достичь? Скорее нет. Для поиска глобального максимума нужно принимать во внимание множество других факторов, и вот здесь как раз в игру вступает визионерство, а значит, и субъективность.

Data informed-подход позволит нам найти примерные координаты точки другого холма, потенциально большего, а затем его задачей будет найти в той точке локальный максимум.

Как найти баланс между data driven и data informed?

– Применяйте data driven-подход для задач оптимизации.

– Если в определенный момент оптимизационный подход перестал давать плоды или неприменим, то поднимите задачу на более высокий уровень.

– Есть ряд задач высокого уровня, которые невозможно решить, используя подход data-driven. Используйте для них подход data-informed (данные становятся лишь одним фактором среди прочих).

– Прочие факторы могут быть следующими: качественные исследования, инсайты из общения с пользователями, бизнес-интересы, стратегические цели, ваша вера и желание сделать мир лучше.

Говоря о data driven и data informed, я, конечно, нарисовал довольно утопический мир, и часто многие факторы могут легко лопнуть эту картинку, как мыльный пузырь. Но все же нам нужна путеводная звезда, и, работая с разными компаниями по внедрению data-культуры, именно эту картинку я держу в голове.