Сообщить об ошибкеКороткий ответ
Нужно явно разделить, какая метрика является guardrail, а какая — основной целью бизнеса на горизонте, и либо продлить тест для оценки долгосрочного эффекта, либо принять компромиссное решение с открытым обсуждением рисков, а не автоматически ориентироваться только на краткосрочный сигнал.
Как это работает подробнее
краткосрочные метрики (клики, вовлечённость в моменте) реагируют быстро, но могут отражать манипулятивные паттерны (агрессивные уведомления, тёмные паттерны интерфейса), которые со временем приводят к усталости пользователей и росту оттока — долгосрочные метрики (retention, LTV) улавливают это позже.
Sanity check: убедиться, что окно наблюдения за долгосрочной метрикой действительно достаточно для её стабилизации (например, retention за 8 недель не продолжает резко падать дальше) перед принятием финального решения.
Пример кода
Краткосрочно (7 дней): CTR уведомлений +15%, статистически значим.
Долгосрочно (holdout 8 недель): 8-week retention -2 п.п., на грани значимости (p=0.07).
Решение: отложить полный раскат, расширить holdout ещё на 4 недели
и проверить retention с большей мощностью перед финальным решением.Что использовать на практике
- Если ресурсы позволяют, полезно держать часть пользователей в holdout-группе дольше основного теста, чтобы отследить отложенные эффекты на retention и отток. Если продлить тест нельзя, стоит явно презентовать оба сигнала стейкхолдерам как компромисс, а не скрывать негативный долгосрочный сигнал ради быстрого запуска. Решение в такой ситуации часто зависит от стратегии продукта (рост метрики здесь и сейчас vs долгосрочное доверие пользователей), а не только от цифр. Полезно также заранее на этапе планирования теста определить, какая метрика имеет приоритет при конфликте — это снимает часть давления в момент принятия решения и снижает риск политизированных споров.
Подводные камни
- Принимать решение о раскатке только по быстро доступной краткосрочной метрике, игнорируя слабый, но тревожный сигнал по retention
- Продлевать тест бесконечно в поисках "удобного" результата вместо заранее согласованного критерия принятия решения
- Не документировать компромисс и его обоснование, что мешает пересмотреть решение в будущем при новых данных. Ещё одна ошибка — рассматривать краткосрочный и долгосрочный эффект как полностью независимые показатели, не пытаясь понять механизм, который связывает краткосрочное поведение с последующим оттоком или лояльностью.