Сообщить об ошибкеКороткий ответ
Нужно анализировать динамику эффекта по времени (например, по неделям когорты, впервые увидевшей изменение), а не только итоговое усреднённое число; если эффект стабильно убывает к уровню контроля, это признак novelty effect, и решение о раскатке нужно основывать на устоявшемся, а не на пиковом значении.
Как это работает подробнее
Как это работает: эффект новизны обычно проявляется как убывающая кривая разницы между группами в первые дни/недели использования; устойчивый эффект, напротив, остаётся примерно на одном уровне или даже растёт по мере привыкания аудитории.
Пример анализа: построить график дневного lift по неделям теста для когорты пользователей, впервые увидевших вариант B в неделю 1. Если lift: нед.1 +12%, нед.2 +7%, нед.3 +3%, нед.4 +2.5%, нед.5 +2.3% — эффект стабилизируется около +2-2.5%, и именно эту величину, а не пиковые +12%, нужно использовать для бизнес-решения.
Что использовать на практике
- На практике: для разделения двух эффектов полезно смотреть не только на календарное время теста, но и на 'возраст' пользователя в тесте (сколько дней/сессий прошло с момента первого попадания в вариант) — это точнее показывает привыкание, чем общий календарный тренд.
Подводные камни
- Частые ошибки: принятие решения о раскатке по данным первой недели теста, когда эффект новизны ещё не успел проявиться или угаснуть; также ошибка — продление теста бесконечно в ожидании 'пока эффект стабилизируется' без заранее заданного критерия остаточной стабильности.