Как распознать, что высокая эффективность нового варианта в начале теста объясняется эффектом новизны (novelty effect), а не реальным долгосрочным улучшением?

Короткий ответ

Эффект новизны проявляется как заметный всплеск метрики (CTR, CVR) в первые дни после изменения, который постепенно снижается по мере того, как аудитория «привыкает» к новому варианту — это видно по динамике метрики внутри теста, а не только по итоговому среднему.

Как это работает подробнее

Часть пользователей реагирует на любое заметное изменение положительным любопытством независимо от его реальной пользы; со временем этот эффект угасает, и метрика возвращается к уровню, который точнее отражает долгосрочное качество варианта. Эффект новизны особенно характерен для изменений в интерфейсе или формате креатива, которые резко контрастируют с тем, что аудитория видела раньше.

Пример. Неделя 1 нового дизайна лендинга: CVR 6.5% Неделя 2: CVR 4.8% Неделя 3: CVR 4.1% (стабилизация) Контрольный вариант всё это время держит CVR ~4.0% - итоговый устойчивый эффект оказывается значительно скромнее, чем показалось в первую неделю.

Что использовать на практике

• Практика. Стоит смотреть не только на итоговую среднюю метрику за весь период теста, но и на график метрики по дням/неделям, особенно для изменений, которые сильно бросаются в глаза (редизайн, необычный формат креатива). Если ресурсы позволяют, полезно продлевать тест достаточно долго, чтобы увидеть минимум 2-3 полных цикла поведения аудитории и отследить, стабилизировался ли эффект.

Подводные камни

• Частые ошибки. Ошибка — зафиксировать победу варианта по первым 3-5 дням резкого роста метрики и сразу масштабировать его на весь бюджет без проверки устойчивости эффекта на более длинном окне. Ошибка — путать эффект новизны с настоящим трендом роста, не сравнивая динамику тестового варианта с динамикой контроля за тот же период.