Сообщить об ошибкеКороткий ответ
Не выбираю одну метрику «по умолчанию» — явно показываю оба результата с доверительными интервалами, объясняю бизнес-смысл компромисса (краткосрочная вовлечённость против долгосрочного удержания) и предлагаю решение с учётом стратегического приоритета компании и возможности сегментировать/доработать фичу.
Как это работает подробнее
краткосрочные поведенческие метрики (клики, просмотры) и долгосрочные (удержание, LTV) могут двигаться в разные стороны, если фича, например, подталкивает к действию агрессивнее, чем нравится части пользователей в перспективе — выбор «какая метрика важнее» это бизнес-решение, а не чисто статистическое.
Что использовать на практике
- На практике: проверяю статистическую значимость и величину эффекта по обеим метрикам отдельно (не только по p-value, но и по доверительному интервалу и практической значимости величины эффекта); сегментирую эффект (возможно, снижение удержания сосредоточено в одном сегменте пользователей); представляю бизнесу как trade-off с количественной оценкой обеих сторон, а не скрываю отрицательный долгосрочный эффект.
- Пример: Результаты теста: клики за неделю +12% (p<0.01, значительный размер эффекта), retention через 30 дней −1.5 п.п. (p=0.03, 95% CI [-2.8; -0.2]). Рекомендация: «Эффект на удержание статистически значим и практически заметен для сегмента X; предлагаю раскатить фичу с изменённым поведением для сегмента X или собрать дополнительные данные за 60 дней перед полным релизом». Проверка: пересчитать эффект на удержание отдельно по сегментам, чтобы убедиться, что рекомендация адресует именно проблемный сегмент, а не теряется в агрегате.
Подводные камни
- Частые ошибки: докладывать только позитивную краткосрочную метрику, умалчивая об ухудшении удержания; принимать решение исключительно по статистической значимости без учёта размера эффекта и его денежного/продуктового смысла; не предлагать альтернатив (например, доработать фичу для сегмента с падением удержания) вместо жёсткого выбора «раскатить/не раскатить».