За время работы у меня сформировался некий фреймворк, которым я руководствовалась сама и по которому, на мой субъективный взгляд, можно построить здравую, лаконичную систему метрик продукта с понятными взаимосвязями. И вот я дозрела до того, чтобы поделиться им в формате статьи.

Не претендую на абсолютную уникальность, поскольку при его формировании я опиралась и даже во многом переиспользовала существующие фреймворки, адаптируя их под те задачи, которые стояли передо мной. В частности:

• общеизвестную идею о дереве метрик, где каждая метрика рассматривается как производная от метрик более низкого уровня – таким образом, выстраиваются простые математические взаимосвязи между метриками до тех пор, пока мы не закончим декомпозию;

• Пирамиду метрик Елены Серегиной, согласно которой метрики раскладываются на слои;

• такие красивые аббревиатуры, как AARRR, HEART, NSM, тоже полезно иметь в виду, когда мы думаем про метрики – не буду тут вдаваться в подробности, поскольку статья посвящена не обзору.

Зачем нужен фреймворк метрик?

Общий ответ – для структуризации и порядка в головах бизнеса. В своей работе в разных командах я не раз сталкивалась с желанием стейкхолдеров отслеживать все метрики сразу, хаотично, без четкого понимания, зачем это нужно. А также с последующими попытками расписать и перечислить показатели, которые им кажутся важными, и побежать к аналитикам со срочными запросом всё посчитать и добавить на дашборд. В результате часто получалась монструозная картинка, не позволяющая определиться с фокусами и, как следствие, не удовлетворяющая самих стейкхолдеров.

Ну, а если говорить более профессиональным языком, то система метрик может быть вам нужна в следующих случаях:

• вы создаете новый продукт и хотите выстроить аналитическую базу в условиях ограниченного ресурса: понять, за какими показателями критично следить, а какие можно на время убрать из фокуса, и, самое главное, зачем и почему это нужно делать;

• вы развиваете уже существующий продукт и хотите понять существующие точки роста и рычаги влияния на них, а также прийти к системному отслеживанию важных показателей и получать целостную и прозрачную картинку о функционировании продукта;

• у вас очень много гипотез, и вам нужно понять, на чем сфокусироваться.

Составляющие структуры фреймворка

Когда мы говорим про метрики, мне нравится концепция ступеней.

• На верхней ступени у нас располагаются метрики роста (Growth), или бизнес-метрики: они отвечают на вопросы о бизнесе, построенном вокруг продукта, а также характеризуют его. Примеры таких метрик: Revenue (выручка), MAU (количество активных пользователей), количество заказов и т.д. Обычно это всё то, что мы называем «тоталы».

• На ступени ниже – метрики продукта (Product) и маркетинговые метрики (Marketing). На одной ступени они располагаются потому, что метрики роста являются прямыми производными от тех и других. Как это происходит – рассмотрим на примерах ниже.

  • Метрики продукта описывают продукт и отвечают на вопрос о том, как продукт превращает клиентов в метрики роста. Примеры: различные конверсии, Retention Rate, ARPU и др.

  • Маркетинговые метрики описывают маркетинговую стратегию и отвечают на вопрос об ее эффективности. Примеры: CAC, LTV, ROI и др.

Давайте пока остановимся на этих двух ступенях и посмотрим на примеры. Нужно иметь в виду, что примеры сильно упрощены, но дают представление о принципах построения системы метрик.

Связь Growth & Product

Revenue – выручка сервиса – может определяться как произведение активной аудитории сервиса (MAU) и среднего дохода на пользователя (ARPU). Активная аудитория, в свою очередь, определяется как сумма количества новых пользователей (New Users) и удержанных пользователей (Retained Users). А удержанные пользователи – как произведение новых пользователей в предыдущем периоде (New Users t-1) и их Retention Rate.

Здесь и далее на рисунках цветом обозначены разные типы метрик: синим – метрики роста, желтым – продуктовые метрики, оранжевым – маркетинговые метрики и т.д.

Связь Growth & Marketing

Часть прибыли сервиса (Profit) может определяться как произведение расходов на маркетинг (Marketing Investments) и коэффициента их возврата (ROMI). ROMI же, в свою очередь, зависит от:

• стоимости привлечения клиента (CAC);

• того, сколько он приносит денег (LTV);

• количества таких клиентов (New Users);

• размера инвестиций на привлечение (Marketing Investments).

На этом этапе общим принципом является то, что все взаимосвязи между метриками являются по сути простыми математическими формулами, по которым однозначно можно рассчитать метрики более высоких «ступеней».

Давайте спустимся дальше по нашей «лесенке».

Метрики ценности (Value) – отвечают на вопросы о том, сколько усилий и ресурсов требуется для решения задачи клиента либо достижения прогресса в рамках ее решения. Примеры таких метрик – процентная ставка на остаток на счёте, размер скидки, NPS и т.д.

Связь Product & Value

В большинстве случаев рост метрик ценности ведет к тому, что улучшаются и продуктовые метрики. Следовательно, наблюдение за метриками ценности позволяет объяснить изменения продуктовых метрик. Однако, сложность заключается в том, что чаще всего связь между метриками ценности и продукта уже не такая детерминированная, как связь между метриками первых двух ступеней и требует аналитических исследований.

Рассмотрим пример: средняя выручка на платящего пользователя (ARPPU) определяется через произведение среднего чека (AOV) и частоты покупок. AOV же можно также разложить на составляющие: средний чек без учёта скидки и размер скидки, где последняя метрика будет являться метрикой ценности. При этом, мы предполагаем, что размер скидки должен также позитивно влиять на частоту покупок клиента, т.к. он будет стремиться покупать там, где это выгоднее. Однако, наличие такой связи нужно доказать. 

И вот как раз такие гипотетические связи в системе метрик будут являться хорошим источником продуктовых гипотез для проверки. В нашем примере мы могли бы поэкспериментировать с размером скидки и определить, как именно она влияет на частоту покупок, не забывая при этом о том, что она уменьшает средний чек и, таким образом, добиться оптимального значения.

Метрики качества (Quality) находятся на нижней ступени нашей лесенки – они характеризуют качество реализации продукта. Примерами могут послужить количество ошибок на пользователя, количество брака на единицу товара, crash-free rate и др.

Связь Product & Value & Quality

Часто рост метрик качества ведет к тому, что улучшаются метрики продукта и/или метрики ценности (и наоборот). Следовательно, наблюдение за метриками качества также позволяет объяснить изменения метрик более высокого уровня.

Дополним предыдущий пример. Допустим, в нашем продукте скидка доступна по некоему купону, который клиент должен предъявить при покупке.

При применении такого купона существует некая вероятность ошибки – и, чтобы это отследить, мы следим за количеством ошибок применения купона на пользователя. Она негативно влияет на размер скидки, т.к. в этом случае человеку не удается воспользоваться купоном, а также снижает лояльность клиента и может негативно влиять на его последующие приходы к нам, то есть на его частоту покупок.  

Два типа метрик и моделирование эффекта

Помимо ступеней, полезно еще разделять метрики на два типа:

• Производные метрики (чаще всего это метрики роста) – участвуют в приоритизации гипотез, т.к. являются целевыми с точки зрения развития бизнеса;

• Uplift-метрики – метрики, которые поддаются воздействию с помощью продуктовых, технических, процессных и других решений. Они участвуют в формировании гипотез и проведении экспериментов в качестве приемочных метрик.

Ниже – пример моделирования эффекта с использованием такого фреймворка.

Гипотеза: Увеличив цену в 2 раза, мы вырастим средний доход с клиента (Uplift-метрика).

При этом, мы предполагаем, что в результате конверсия из лида в клиента уменьшится не более, чем на Х% (тоже Uplift-метрика).

Это позволит увеличить выручку на Z% (производная метрика, вычисление которой позволит нам оценить общий эффект от внедрения изменений).

Таким образом, у нас получается примерно такая схема.

Мы нарисовали систему метрик. Что дальше?

Система метрик – это не просто красивая картинка, которую вы нарисовали со своей командой в миро один раз и забыли. Во-первых, имеет смысл к ней периодически возвращаться и дорабатывать, т.к. продукт может меняться и вместе с ним могут меняться ваши метрики. 

Во-вторых, система метрик – это практический инструмент, который можно использовать в качестве основы для продуктовой и аналитической работы – а именно:

• Построение дашбордов. Когда система дашбордов построена с опорой на систему метрик, она получается хорошо структурированной, а также обладает хорошей объяснительной силой: наблюдая изменения какой-либо метрики мы можем быстро понять, на что ещё стоит обратить внимание.

• Генерация гипотез. Недетерминированные связи между метриками (особенно между метриками ценности и продукта) являются прекрасным источником для генерации новых продуктовых гипотез.

• Аналитические исследования и АБ-тесты – вытекает из предыдущего пункта и зависит от выбранного способа проверки той или иной гипотезы. Кроме того, если продакт-менеджеры и аналитики будут хорошо понимать систему метрик вашего продукта, то смогут более качественно дизайнить исследования и эксперименты.

• Разработка модели роста. Хорошая система метрик может стать отличным подспорьем в разработке моделей роста и позволит качественно моделировать эффект и приоритизировать работу.

В общем, наводите порядок в ваших рассуждениях вокруг продукта, и будет вам счастье :-)