Глава 7
Прогнозирование
Стоит только попристальнее вглядеться в настоящее, будущее вдруг выступит само собой.
Н. В. Гоголь
Во всех местах, где я работал аналитиком, приходилось прогнозировать. Как правило, прогнозируют либо доход, либо метрики, связанные с ним (допустим, ARPU – доход с пользователя). Для прогнозирования существует достаточно много математических методов и готовых пакетов в том же Python. Но иногда прогнозировать можно и экспертно. В конце концов, хороший аналитик – это всегда эксперт, и он сам выбирает метод прогнозирования: математика или опыт (а может быть, руны? Встречал я и такой способ на своем веку).
Данная глава посвящена прогнозированию, его методам, особенностям и предпосылкам.
Здоровый пессимизм
Важно уметь получать быструю обратную связь от проекта: чуть что отклонилось от прогнозируемой траектории, аналитик должен быть тут как тут.
Так, ребят, мы запустились. У нас 1000 пользователей, ARPU = 1 доллар, получаем тысячу долларов в день. Если через три месяца дорастем до 10 тысяч пользователей, будем по $10k в день получать.
Чаще всего, планируя доходы игры, мы оперируем количественными метриками, на которые можем влиять прежде всего с помощью трафика (DAU/WAU/MAU, новые пользователи, пользовательский онлайн). Качественные же метрики (Retention, ARPU, Paying Share, LTV) предполагаются неизменными – ну что с ними станет?
Данный раздел посвящен тезису, что это не так.
За основу мы взяли исследование 2015 года, в рамках которого были проанализированы 400 игр. Все игры были разбиты на группы в зависимости от их финансовой успешности. И по играм в разное время в течение 12 недель после запуска замеряли качественные метрики, а именно:
– конверсию в платеж;
– ARPPU (доход с платящего игрока);
– ARPDAU (дневной доход с активного игрока);
– 1-Day Retention;
– 7-Days Retention.
И в рамках данного исследования, помимо прочих, звучит следующая идея:
качественные метрики снижаются со временем.
Рассмотрим, например, график 1-Day Retention:
Здесь горизонтальная ось – это недели с момента запуска игры. Цветами на данном графике выделены разные группы финансовой успешности (1 – самые успешные, 4 – наименее успешные). И видно, что снижение происходит по всем группам.
О чем нам это говорит?
О том, что предполагать стабильное поведение качественных метрик со временем неправильно.
В рассмотренном в начале примере ARPU едва ли останется на том же уровне через 3 месяца, особенно если ничего не делать.
Вот еще несколько мыслей по этому поводу.
Самая преданная и лояльная аудитория – это та, что была с вами с самого начала. С бета-версии, с момента soft launch – в зависимости от того, откуда вы ведете летоисчисление. Берегите этих ребят!
Старый друг лучше новых двух, особенно в смысле LTV. LTV, как мы знаем, это свертка всех качественных показателей в одну метрику: здесь вам и Retention, и конверсия в платеж, и доход с платящего (ARPPU). Все эти метрики со временем снижаются. Соответственно, снизится и LTV. Поэтому вполне возможна ситуация, что LTV первоначальной, золотой когорты будет в два раза выше, чем LTV когорты, которая пришла спустя несколько месяцев.
Чем больше аудитория, тем хуже ее качество. Обычно, как только появляются новые пользователи и проект начинает расти, метрики качества заваливаются вниз, и рост осуществляется за счет объема.
Это не повод опускать руки. Раздел, хоть и содержит пессимистичное утверждение, прежде всего должен мотивировать вас на изменения. Мы предполагаем, что метрики качества будут постепенно таять в том случае, если мы пускаем все на самотек и никак не работаем над развитием проекта.
Оперирование после запуска – важнейший этап в жизни игры. Если ничего не делать – метрики пойдут вниз. Значит, надо делать: постоянно работать над увеличением удержания, конверсии в платеж, дохода с платящего – для всего этого существует достаточно механизмов и методов. Если поставить главной целью рост качественных метрик, то вполне возможно, что вам удастся переломить это органическое поведение показателей, и вы сможете стабилизировать их или даже увеличить.
Сначала качество, потом количество. Допустим, вы стоите перед выбором: увеличить Retention либо налить еще трафика. Выбирайте первое: сначала надо оптимизировать качественные метрики, залатать дыры в решете, и уж затем в это решето наливать трафик. В противном же случае вы быстро прольете через себя всю целевую аудиторию, и она ничего не оставит на память.
Главное, о чем нужно помнить, – метрики не останутся теми же. Органичное поведение метрик качества – это постоянное медленное снижение. И пусть это стимулирует вас к дальнейшим действиям.
Сезонность
Сейчас мы поговорим о таком явлении, как сезонность в значениях ключевых показателей проекта, и обсудим, как ее найти и использовать себе во благо.
Что такое сезонность?
Сезонностью обычно называют любые периодические колебания временного ряда. Допустим, у вас есть данные по продажам продукта за каждый день в течение трех лет. И наш опыт в аналитике приложений показывает, что в этом временном ряде, скорее всего, есть сезонность, то есть можно выделить некоторую цикличность в поведении показателей.
Чаще всего наиболее ярко сезонность выражена по дням недели и по месяцам. Рассмотрим каждую по отдельности.
Недельная сезонность заключается в приростах или падениях, соответствующих разным дням недели. Она объясняется вполне логично: есть будние дни, а есть выходные. Из будних дней можно выделить понедельник (как правило, со знаком минус) – день затишья после шумных выходных, и пятницу (как правило, со знаком плюс) – день, когда можно позволить себе немного больше, чем обычно. В выходные же ведут себя иначе, в отличие от будних дней, и график онлайна (потому что можно играть с самого утра вместо того, чтобы идти в школу или на работу), и прочие метрики (допустим, ARPDAU – средний доход с активного пользователя в день).
Несколько примеров:
– во многих играх аудитория в выходной день больше, чем в будни;
– с другой стороны, показатели дохода в среднем выше в будние дни и достигают максимума в пятницу (именно поэтому пятница – отличный день для проведения акций);
– особенно интересным кажется результат нашего исследования: показатели удержания пользователей, зарегистрированных в пятницу, в среднем немного выше, чем у пользователей, зарегистрированных в другие дни. Вероятно, это можно объяснить чисто психологически: устанавливая приложение в пятницу, вы заранее увеличиваете себе шанс открыть его на следующий день, ведь это выходной.
Последний пример, к слову, демонстрирует важную мысль. Сезонность касается не только количественных метрик продукта (аудитория или доход), но и качественных показателей (Retention, ARPU). То есть пользователи даже ведут себя в разные дни по-разному.
Скриншот отчета Main Metrics в devtodev. На нем видно, что и доход, и сессии имеют недельную сезонность, и особенно ярко выражена она у показателя дохода
Месячная сезонность
Если агрегировать показатели по месяцам (от DAU перейти к MAU, а от ARPDAU к ARPU), то тоже можно заметить некоторые сезонные изменения:
– как мы говорили выше, во многих продуктах жаркие месяцы являются, наоборот, наиболее «холодными» по количеству аудитории, ее интересу и деньгам;
– а вот холодные месяцы, наоборот, привлекают больше пользователей (условно говоря, на улице холодно, можно и дома посидеть, в игры поиграть);
– особенно ярко выражена сезонность в декабре – это, как правило, месяц всеобщего подъема, притом как аудитории, так и денег, с нее полученных.
Впрочем, только лишь недельной или месячной сезонностью дело не ограничивается. Чуть ниже мы поговорим о том, как найти оптимальную продолжительность цикла, а пока – несколько нетривиальных примеров:
– в одной из игр мы видели, что оптимальная продолжительность цикла в поведении показателя ARPDAU – не 7 дней, а 14. Мы объяснили это тем, что зарплату людям платят как раз каждые две недели;
– в некоторых продуктах, кстати, особенно заметны пики на тех числах месяца, которые делятся на пять (а это и есть дни зарплаты);
– также мы находили продукты, в которых оптимальные циклы составляли 3, 9, 11 дней, – и во всех случаях это объяснялось внутренними ивентами в продукте (в частности турнирами).
Еще один вид классификации сезонности, о котором стоит упомянуть. Она бывает аддитивная (когда сезонные коэффициенты постоянны во времени) и мультипликативная (когда сезонные колебания со временем растут или падают). Мы рассмотрели аддиктивную – по нашему опыту, она встречается чаще.
Отличия аддитивной и мультипликативной сезонности
