Сообщить об ошибкеКороткий ответ
Единого рецепта против закона Гудхарта ("метрика, ставшая целью, перестаёт быть хорошей метрикой") нет — обычно нужна комбинация guardrail-метрик, периодического пересмотра определения NSM, качественной проверки (например, пользовательских интервью) и явного культурного сигнала от руководства, что "игра с метрикой" недопустима даже при формальном выполнении цели.
Как это работает подробнее
локальная оптимизация NSM возникает, когда команда находит способ формально увеличить метрику без создания реальной ценности (например, рассылка push-уведомлений ради краткосрочного роста "активных сессий" в счёт NSM); чем конкретнее и легче манипулируемой является метрика, тем выше риск такого поведения.
Команда роста добилась увеличения NSM "число активных сессий в неделю" через агрессивные авто-воспроизведения контента, не требующие осознанного действия пользователя. После добавления guardrail "доля сессий с осознанным взаимодействием (клик/лайк/ответ) от общего числа сессий" стало видно, что эта доля упала — сигнал, что рост NSM был "пустым"; в ответ NSM переопределили как "число сессий с хотя бы одним осознанным взаимодействием", что сложнее симулировать искусственно.
Что использовать на практике
- Практика. для раннего обнаружения проблемы нужен набор guardrail-метрик, которые отражают "качество" достижения NSM (не просто рост метрики, а рост без ухудшения удовлетворённости, retention, жалоб); регулярный аудит того, "как именно" выросла метрика (через какие пользовательские действия), помогает отличить реальный рост ценности от искусственного.
Подводные камни
- Частая ошибка. реагируют на проблему только после того, как она нанесла заметный вред (например, рост отписок), вместо проактивного мониторинга; полностью отказываются от NSM после первого случая манипуляции вместо того, чтобы уточнить её определение или добавить недостающие guardrails.