Size: a a a

ProductSense Chat

2019 January 08

AZ

Alexei Zhurba in ProductSense Chat
Pavel Shegolev
Привет, очень жду твои кейсы. Хочу понять что к чему конкретно у тебя было. А пока сюда кладу ссылочку на презентации с митапа в Сбере на эту тему.  https://www.dropbox.com/sh/qbwlaj1bf29i0st/AACcwR3dSh4rx1Jcu1VmVkKoa?dl=0

Тут и Success stories и изыскания на тему применимости. Мой опыт в принципе положительный с NPS живу с 2008 года, не подводил... в разных индустриях. С частью твоих выводов не могу согласиться. Могу прям подробно написать с какими и почему. Если на забанят, могу здесь... ну и собственно Bain не просто так этот показатель вывель в свое время.
Так твоя преза говорит скорее ровно о том, что я писал:

> -- для своего продукта можно наловчиться регулярно измерять NPS, но для интерпретации потребуется много других исследований;
> -- лучше строить свой процесс качественного и количественного исследования аудитории и анализ KPI — тогда точно будете понимать, что происходит;
источник

KS

Kirill Shikhanov in ProductSense Chat
Может уже была в чате эта ссылка https://medium.com/swlh/nps-is-a-waste-of-time-use-these-metrics-instead-3df33ba0ee24, в статье есть полезное предложение использовать взамен вопрос:

“What do satisfied customers do in our product?”

Мы год назад начали пробовать интерпретировать метрики сквозь призму этого вопроса, для каждой гипотезы делили пользователей на happy path и sad path, далее для обоих выборок считали результаты поведения и таким образом получали упущенную бизнес ценность (дошли даже до того, что всё к долларам сводилось). На основе этого же и приоритеты гипотезам выстраивали.
источник

PS

Pavel Shegolev in ProductSense Chat
Alexei Zhurba
1)  Не коррелирует ни с чем из других метрик.  Некоторые коллеги из ВГ говорят, что с натяжкой корреляция видна на самом раннем этапе тестирования игры на игроках (альфа, закрытая бета), но я видел другое.
Можешь пояснить с какими метриками? и в динамике или по точкам наблюдения корреляцию замеряли?
источник

PS

Pavel Shegolev in ProductSense Chat
Alexei Zhurba
2)  Не имеет смысла в качестве метрики, которая позволяет держать руку на пульсе.  В первую очередь из-за того, что есть другие довольно интегральные метрики, которые ГОРАЗДО ближе к сути продукта.  А во вторую — это похоже на поход к врачу ради того, чтобы просто измерить пульс.  Т.е. измерять NPS сложнее, чем следить за метриками, которые уже и так постоянно мониторятся (CCU, DAU, new AU, платежи).
Это одна из метрик. Она помогает соавнивать и отслеживать динамику... тут конечно надо учитывать частоту использования... в играх уверен, что своя специфика... то есть замер для аркады можно быстро делать, а для квестов только после конца игры по идее... но не суть. Я к тому, что это метрика как градусник здоровья продукта (выручка говнопродукта будет расти на стадии запуска, но потенциал роста всетаки будет зависеть от того, насколько он хорош и втыкает потребителя). Конечно градусник диагноз поставить не может, так об этом ни кто и не говорит. Не нужно пытаться градусником аеализ крови сделать ;)))
источник

AZ

Alexei Zhurba in ProductSense Chat
Деньги, процент платящих и пр. , что принято в игровой индустрии.
источник

AZ

Alexei Zhurba in ProductSense Chat
Pavel Shegolev
Это одна из метрик. Она помогает соавнивать и отслеживать динамику... тут конечно надо учитывать частоту использования... в играх уверен, что своя специфика... то есть замер для аркады можно быстро делать, а для квестов только после конца игры по идее... но не суть. Я к тому, что это метрика как градусник здоровья продукта (выручка говнопродукта будет расти на стадии запуска, но потенциал роста всетаки будет зависеть от того, насколько он хорош и втыкает потребителя). Конечно градусник диагноз поставить не может, так об этом ни кто и не говорит. Не нужно пытаться градусником аеализ крови сделать ;)))
Хорошо, что ты градусник упомянул
источник

AZ

Alexei Zhurba in ProductSense Chat
Ща будет вброс
источник

PS

Pavel Shegolev in ProductSense Chat
Alexei Zhurba
Так твоя преза говорит скорее ровно о том, что я писал:

> -- для своего продукта можно наловчиться регулярно измерять NPS, но для интерпретации потребуется много других исследований;
> -- лучше строить свой процесс качественного и количественного исследования аудитории и анализ KPI — тогда точно будете понимать, что происходит;
Верно. Но в качестве общего kpi (shared kpi) скорее это единственный пользовательский показатель продукта.
источник

PS

Pavel Shegolev in ProductSense Chat
Alexei Zhurba
Как раз вовремя в чат пришел Кирилл, который мне вчера подогнал ссылку про NPS макдональдса )))
https://customer.guru/net-promoter-score/mcdonald-s

С чем коррелируют их -8? )))
Тут не нашел страну, где замер делали. Не думаю, что это глобальные скоры... а для понимания корреляции нужно смотреть в динамике и на бизнесаоказатели like for like
источник

PS

Pavel Shegolev in ProductSense Chat
Kirill Shikhanov
Может уже была в чате эта ссылка https://medium.com/swlh/nps-is-a-waste-of-time-use-these-metrics-instead-3df33ba0ee24, в статье есть полезное предложение использовать взамен вопрос:

“What do satisfied customers do in our product?”

Мы год назад начали пробовать интерпретировать метрики сквозь призму этого вопроса, для каждой гипотезы делили пользователей на happy path и sad path, далее для обоих выборок считали результаты поведения и таким образом получали упущенную бизнес ценность (дошли даже до того, что всё к долларам сводилось). На основе этого же и приоритеты гипотезам выстраивали.
Ну такого много в сети (я про статью по ссылке) ;))) это как раз из серии, когда молотком шурупы пытаются заворачивать имхо. Ну или паранойя у руководства случается ;)))
источник

PS

Pavel Shegolev in ProductSense Chat
Отдельная тема про «предсказательные» метрики... тут разговор тяжелее, так как много всего перемешалось...
источник

AZ

Alexei Zhurba in ProductSense Chat
источник

AZ

Alexei Zhurba in ProductSense Chat
Вот что я думаю про NPS как градусник
источник

PS

Pavel Shegolev in ProductSense Chat
Alexei Zhurba
Деньги, процент платящих и пр. , что принято в игровой индустрии.
Видимо ты про корреляцию по точкам наблюдений... так не работает, да. Только на оч больших выборках... но в принципе показатель про динамику...
источник

AZ

Alexei Zhurba in ProductSense Chat
Pavel Shegolev
Видимо ты про корреляцию по точкам наблюдений... так не работает, да. Только на оч больших выборках... но в принципе показатель про динамику...
Неа
Смотрели на то, сопровождаются ли изменения NPS хотя бы какими-то изменениями в метриках

А там не просто нет корреляции,а при падении NPS растёт кол-во платящих и общее ревенью )))
источник

AZ

Alexei Zhurba in ProductSense Chat
Ладно бы игры — там специфика и в самой индустрии и в том, что F2P проекты у Варгейминга в основном
источник

AZ

Alexei Zhurba in ProductSense Chat
Но ведь и в ваших презентациях со Сберовского мероприятия...
источник

AZ

Alexei Zhurba in ProductSense Chat
Ну там же сквозит ненадежность метрики )))
источник

AZ

Alexei Zhurba in ProductSense Chat
Южане ставят выше
источник

AZ

Alexei Zhurba in ProductSense Chat
Днем ставят выше
источник