Минусы NPS

NPS – это мысленный эксперимент, а не действие.

Это первый и главный минус данного метода. Не все критики на самом деле критикуют и не все промоутеры рассказывают о проекте друзьям. Вы просто просите пользователя провести абстрактное действие в своей голове, не более. У всех разные отношения с друзьями, разное социальное поведение, и далеко не всегда истинная лояльность к бренду совпадает с желанием поделиться информацией о нем. Виральность – лишь одна из оптик, с помощью которой можно взглянуть на более широкий показатель лояльности.

NPS выбрасывает из расчетов часть пользователей.

Если предположить, что вероятность поставить каждую из оценок распределена равномерно, то, не принимая в расчет тех, кто поставил оценки 7 и 8, вы не смотрите на 18 % ответивших пользователей. Не самая маленькая погрешность для количественного метода!

NPS зависит от культурного аспекта.

Все мы с вами по-разному воспринимаем действительность, и шкала от 0 до 10 не является однозначно трактуемой в разных культурах. Например, в США оценки пользователей более полярны, там гораздо меньше доля нейтрального отношения: им либо нравится продукт, и тогда оценки ставятся максимальные, либо нет, и тогда оценки ставятся негативные. В российской же культуре есть некое стремление к «нормальному» (как дела? нормально!), и поставить оценку 0–1 или 9–10 означает действительно признать свою яркую эмоцию, на что способны далеко не все; здесь гораздо больше оценок 5 и 6, означающих в России среднее «нормальное» отношение к продукту, но считающихся негативными по методологии NPS.

NPS не учитывает структуру аудитории.

Во free-to-play-играх, например, 90–95 % дохода приносят старые игроки, давно зарегистрировавшиеся и совершившие не один платеж. Таковых игроков обычно не более 5 % от общей аудитории, и если говорить про NPS, то они едва ли смогут заметно повлиять на значения индекса. Хотя истинная лояльность, выраженная в деньгах, у этих пользователей куда больше. Придавая меньшее значение core-аудитории, вы рискуете принять решение, которое понравится молодым не платящим игрокам и не будет принято теми, кто приносит вам деньги.

Кейс

Одна из компаний, которая обратилась к нам за аналитическими консультациями, выпустила апдейт, довольно серьезно изменивший экономику игры. Чтобы оценить, как пользователи отнеслись к обновлению, мы воспользовались NPS. И выяснили, что NPS вырос. А доход упал!

Стали разбираться и поняли, что данное обновление отлично сработало на не платящую аудиторию, но не понравилось платящим игрокам. Платящих игроков сильно меньше, и их доля в NPS оказалась незаметной.

Если посчитать NPS в том случае отдельно по платящим и не платящим, то можно увидеть, насколько по-разному разные сегменты пользователей отреагировали на изменение.

Как вариант, чтобы избежать таких кейсов, нужно делать NPS средневзвешенным, где в качестве веса указывать суммарные платежи по каждому пользователю. Пусть не универсально, зато более справедливо.

NPS зависит от того, проходил ли клиент опрос ранее.

Когда пользователь сталкивается с вопросом: «Оцените вероятность того, что вы расскажете о продукте друзьям, от 0 до 10» во второй или третий раз и он помнит свой предыдущий ответ, то на его новый ответ могут повлиять два фактора.

1. «Опять они спрашивают, я же в прошлый раз отвечал». И оценка таким образом может снизиться просто из-за повторения вопроса.

2. «А что изменилось с последнего раза?» Пользователь, оценивая лояльность, будет ориентироваться не на весь свой Lifetime, а только на тот его промежуток, что прошел между двумя вопросами, и это не совсем лояльность, а скорее реакция на недавние изменения.

NPS требует периодического пересчета.

Допустим, вы рассчитали свой NPS и он оказался равным, скажем, 60 %. С тех пор немало воды утекло, выпущено множество новых релизов и вы справедливо хотите узнать, как с тех пор изменилась пользовательская лояльность.

Здесь стоит быть максимально аккуратными: в предыдущем пункте мы говорили о том, что повторяемость не играет на руку точности, а значит, желательно выбирать новую аудиторию (и желательно случайным образом) для опроса и выбирать из числа тех, кто еще не проходил его ранее.

Это не всегда просто сделать, сохранив репрезентативность выборки. С одной стороны, вам нужно больше пользователей, чтобы выборка была репрезентативна, с другой – увеличивается вероятность того, что пользователи пройдут опрос повторно. И далеко не всегда у вас под рукой достаточно технических средств, чтобы справиться с этой задачей.

NPS – инерционный показатель. Учитывая, насколько разные слои аудитории попадают в опросы, вы не можете сказать о том, насколько часто эти люди в среднем пользуются продуктом. Точнее так: если смотреть в среднем, то пользуются скорее всего реже, чем вы думаете. А значит, в отношении людей к продукту наблюдается инерционность: не все успевают следить за вашими обновлениями и принимают решение от 0 до 10 на основании ранее выработанного отношения к продукту.

NPS не отвечает на вопрос «почему».

Опять же, NPS – это простой мысленный эксперимент, измеряющий текущее поверхностное отношение к продукту. И, вооружившись одним лишь NPS, вы не сможете ответить на вопрос, почему тот или иной пользователь поставил негативную или положительную оценку.