В тесте краткосрочная метрика (клики по уведомлению) выросла, но guardrail-метрика долгосрочного удержания через месяц немного снизилась (не значимо, но в минус). Как анализировать такой конфликт и что сообщить команде?

Короткий ответ

Нужно явно разделить горизонты: краткосрочный положительный эффект не гарантирует долгосрочной пользы и может быть признаком 'выжигания' внимания пользователей (например, навязчивые уведомления повышают клики здесь и сейчас, но раздражают и снижают удержание со временем); решение должно взвешивать оба горизонта, а не основываться только на быстрой метрике.

Как это работает подробнее

Как это работает: краткосрочные и долгосрочные метрики могут быть противоречиво связаны причинно: активация через навязчивость даёт немедленный отклик, но подрывает долгосрочное доверие или вовлечённость — поэтому guardrail для удержания закладывают заранее именно для отлова таких ситуаций.

Формулировка для команды: «Клики выросли на 8% (значимо), но 30-дневное удержание снизилось на 0.4 п.п. (не значимо при текущей выборке, ДИ [-1.2%; +0.4%]). Рекомендую не раскатывать на 100% сразу, а продлить наблюдение за уже вовлечёнными когортами ещё 30 дней, чтобы исключить риск долгосрочного оттока, прежде чем закреплять изменение.»

Что использовать на практике

• На практике: если эффект на удержание незначим, но отрицателен по направлению, разумно не спешить с полной раскаткой — продлить наблюдение за когортой пользователей, уже попавших в тест, на более долгий срок (например, 60-90 дней) перед финальным решением, особенно если эффект на удержание накопительный по своей природе.

Подводные камни

• Частые ошибки: раскатка исключительно на основании роста краткосрочной метрики без мониторинга долгосрочных guardrails, что может привести к отложенному негативному эффекту, обнаруженному только через месяцы, когда откатить решение уже сложнее и дороже.