В первую неделю после запуска новой фичи метрика вовлечённости выросла на 20%, но продакт хочет сразу объявить успех и масштабировать. Как объяснить риск novelty effect и предложить корректный план проверки устойчивости эффекта?

Короткий ответ

Объясняю, что всплеск интереса к любой новизне (novelty effect) типичен в первые дни/недели после запуска и может затухнуть, поэтому предлагаю продолжить наблюдение за метрикой на протяжении нескольких недель и смотреть, стабилизируется ли эффект на новом уровне или возвращается к базовому.

Как это работает подробнее

novelty effect возникает потому, что пользователи временно уделяют больше внимания новому элементу интерфейса/функции просто в силу новизны, а не из-за долгосрочной ценности изменения; со временем это внимание угасает (эффект привыкания), и метрика может вернуться к исходному уровню.

Пример кода

analysis.sqlКопировать

SELECT date_trunc('week', event_date) AS week,
       is_existing_user,
       avg(engagement_score) AS avg_engagement
FROM feature_usage
GROUP BY 1, 2
ORDER BY 1, 2;

Что использовать на практике

• На практике: строю график метрики по дням/неделям с начала теста, а не смотрю только на агрегат за первую неделю; сравниваю динамику у «старых» и «новых» пользователей отдельно — novelty effect обычно сильнее у давних пользователей, впервые видящих изменение, и слабее у новых, для которых это единственный известный интерфейс; рекомендую продлить тест до стабилизации тренда перед выводом о масштабировании.
• Проверка: если avg_engagement для is_existing_user = true постепенно снижается к неделе 3-4, приближаясь к базовому уровню до запуска, это подтверждает novelty effect, и решение о масштабировании стоит отложить.

Подводные камни

• Частые ошибки: делать вывод об успехе по первым дням теста без проверки затухания эффекта; не разделять эффект у старых и новых пользователей; масштабировать фичу на 100% аудитории до того, как эффект подтвердился на горизонте, сопоставимом с ожидаемым сроком использования продукта.