Сообщить об ошибкеКороткий ответ
Novelty effect — это временный всплеск реакции пользователей (положительной или отрицательной) просто из-за того, что изменение новое и непривычное, а не из-за его реальной долгосрочной ценности. Со временем, когда пользователи привыкают, эффект может ослабнуть или исчезнуть.
Как это работает подробнее
новый дизайн или фича привлекает внимание, пользователи начинают активнее её исследовать, что краткосрочно повышает вовлечённость независимо от того, улучшает ли изменение продукт на самом деле.
Пример: в первую неделю теста CTR новой кнопки +15% относительно контроля, но к четвёртой неделе разница сокращается до +2%. Проверка: построить график эффекта по дням/неделям теста — убывающий тренд эффекта к контрольному уровню — характерный признак novelty effect.
Что использовать на практике
- чтобы отличить реальный эффект от novelty effect, тест держат достаточно долго и смотрят на динамику эффекта во времени, а не только на итоговое усреднённое значение.
Подводные камни
- раскатка фичи на всех пользователей сразу после сильного первого эффекта без проверки, устойчив ли он на второй-третьей неделе теста.