Короткий ответ Единого способа полностью устранить novelty effect и каннибализацию нет: нужно удлинить период наблюдения за тестовой группой до стабилизации эффекта (отслеживая динамику метрики во времени, а не только итоговое среднее), и явно смоделировать или измерить каннибализацию между сегментами (например, через общий замер на уровне всего рынка/платформы, а не только затронутой группы), принимая, что итоговая оценка LTV-эффекта будет содержать остаточную неопределённость. Как это работает подробнее novelty effect — временный всплеск вовлечённости просто из-за новизны изменения, который угасает со временем; если измерить эффект сразу после запуска, можно сильно переоценить долгосрочное влияние на LTV. Каннибализация — ситуация, когда улучшение метрики в тестовом сегменте происходит частично за счёт оттока активности/выручки из контрольного или соседнего сегмента (например, пользователи просто перераспределяют покупки между категориями, а не увеличивают общее потребление) — тогда эффект на уровне всей пл
Загрузка…
