Короткий ответ Объясняю, что всплеск интереса к любой новизне (novelty effect) типичен в первые дни/недели после запуска и может затухнуть, поэтому предлагаю продолжить наблюдение за метрикой на протяжении нескольких недель и смотреть, стабилизируется ли эффект на новом уровне или возвращается к базовому. Как это работает подробнее novelty effect возникает потому, что пользователи временно уделяют больше внимания новому элементу интерфейса/функции просто в силу новизны, а не из-за долгосрочной ценности изменения; со временем это внимание угасает (эффект привыкания), и метрика может вернуться к исходному уровню. Пример кода Что использовать на практике На практике: строю график метрики по дням/неделям с начала теста, а не смотрю только на агрегат за первую неделю; сравниваю динамику у «старых» и «новых» пользователей отдельно — novelty effect обычно сильнее у давних пользователей, впервые видящих изменение, и слабее у новых, для которых это единственный известный интерфейс; рекомендую продлить тест до стабилиз
Загрузка…
