Сообщить об ошибкеКороткий ответ
Единого способа полностью устранить novelty effect и каннибализацию нет: нужно удлинить период наблюдения за тестовой группой до стабилизации эффекта (отслеживая динамику метрики во времени, а не только итоговое среднее), и явно смоделировать или измерить каннибализацию между сегментами (например, через общий замер на уровне всего рынка/платформы, а не только затронутой группы), принимая, что итоговая оценка LTV-эффекта будет содержать остаточную неопределённость.
Как это работает подробнее
novelty effect — временный всплеск вовлечённости просто из-за новизны изменения, который угасает со временем; если измерить эффект сразу после запуска, можно сильно переоценить долгосрочное влияние на LTV. Каннибализация — ситуация, когда улучшение метрики в тестовом сегменте происходит частично за счёт оттока активности/выручки из контрольного или соседнего сегмента (например, пользователи просто перераспределяют покупки между категориями, а не увеличивают общее потребление) — тогда эффект на уровне всей платформы меньше, чем кажется по изолированному сравнению test vs control.
Итоговая рекомендация должна опираться на стабилизировавшийся эффект (+4%) и эффект на уровне всей платформы (+1%), а не на ранний и изолированный замер (+15%), который сильно переоценивал бы истинное влияние на LTV.
Что использовать на практике
- Практика. novelty effect обнаруживают, строя график эффекта (test minus control) по дням/неделям с начала эксперимента — угасающий со временем эффект указывает на novelty, а не на устойчивое улучшение; каннибализацию проверяют, сравнивая не только метрику тестовой группы, но и совокупную метрику по всей платформе/рынку до и после, либо проводя geo-эксперимент на уровне целых рынков вместо случайных пользователей, если каннибализация происходит на уровне общего предложения/спроса.
Подводные камни
- Частая ошибка. фиксируют эффект эксперимента через 3-7 дней после запуска и принимают решение о раскатке на всех, не дождавшись стабилизации новизны; игнорируют возможную каннибализацию, считая эффект в тестовой группе "чистой прибылью" для бизнеса, хотя часть эффекта — это просто перераспределение активности, а не прирост.