Сообщить об ошибкеКороткий ответ
Единой универсальной системы метрик нет: North Star метрика должна отражать долгосрочную ценность для пользователя и бизнеса одновременно (а не просто вовлечённость саму по себе), дополняться набором guardrail-метрик, защищающих от известных рисков локальной оптимизации (злоупотребление, усталость, качество контента), и периодически пересматриваться, так как любая фиксированная метрика со временем начинает 'играться' командами (закон Гудхарта).
Как это работает подробнее
Как это работает: North Star обычно выбирают как метрику, которая исторически коррелирует и с удовлетворённостью пользователя, и с бизнес-результатом (например, число успешно решённых задач пользователя в неделю, а не просто время в приложении, которое можно нарастить навязчивостью); guardrails подбираются под известные способы 'читерства' метрики — например, рост engagement за счёт спама уведомлениями.
Пример структуры: North Star = «число успешных завершений ключевого сценария на активного пользователя в неделю». Guardrails: доля жалоб в поддержку (не выше базового уровня), частота навязчивых уведомлений на пользователя (верхний порог), доля контента, помеченного как низкокачественный (не выше X%). Периодический аудит: раз в квартал проверять корреляцию North Star с независимым опросом удовлетворённости (NPS/CSAT) — расхождение тренда сигнализирует о возможном Goodhart-эффекте.
Что использовать на практике
- На практике: систему метрик нужно сопровождать регулярным аудитом на предмет Goodhart's law — проверять, не начали ли команды оптимизировать саму метрику в ущерб её смысловой основе (например, рост 'числа решённых задач' за счёт искусственного дробления одной задачи на несколько), и обновлять определение метрики или добавлять guardrails при обнаружении такого дрифта.
Подводные камни
- Частые ошибки: выбор North Star метрики, которую легко увеличить краткосрочными манипулятивными паттернами (например, 'общее время в приложении' без разделения на полезное и навязчивое использование), что со временем ведёт к деградации реального пользовательского опыта при формально растущей метрике.
- Компромисс: простая, единая North Star метрика легко коммуницируется всей организации, но рискует упускать важные нюансы качества опыта; богатая система из North Star + много guardrails точнее отражает реальность, но сложна для коммуникации и может парализовать принятие решений, если guardrails слишком многочисленны и противоречат друг другу. Баланс между простотой и полнотой системы метрик — это решение, которое зависит от зрелости аналитики в компании и готовности менеджмента работать с многомерными трейд-оффами, а не только с одним числом.