Что такое novelty effect и как его учитывать при анализе A/B-теста?

Короткий ответ

Novelty effect — временный всплеск интереса или активности, вызванный самим фактом новизны изменения, а не его долгосрочной ценностью; эффект обычно затухает со временем, поэтому ранние результаты теста могут переоценивать реальный долгосрочный эффект.

Как это работает подробнее

пользователи реагируют на новое оформление или фичу из любопытства, кликая и исследуя её активнее, чем будут делать это через несколько недель, когда новизна пройдёт.

Пример кода

Пример на PythonКопировать

import pandas as pd
df = pd.DataFrame({
    'day': list(range(1, 15)),
    'test_engagement': [0.30,0.32,0.31,0.29,0.26,0.24,0.22,0.21,0.20,0.19,0.19,0.18,0.18,0.17],
    'control_engagement': [0.18]*14
})
print(df)

Что использовать на практике

• На практике. чтобы отличить реальный эффект от novelty, полезно смотреть динамику метрики по дням/неделям теста отдельно для новых и для «старых» (ранее видевших прошлую версию) пользователей; если эффект заметно угасает со временем именно у давних пользователей — это признак novelty effect. Для фич с риском такого эффекта разумно продлевать тест дольше обычного и анализировать отдельно когорты по времени первого попадания в группу. Также полезно сравнивать поведение в тестовой группе с историческими данными о похожих прошлых изменениях — если раньше наблюдался похожий паттерн затухания, это дополнительно подтверждает гипотезу о novelty effect.
• Пример. Sanity check: заметное снижение test_engagement к control_engagement со временем при стабильном контроле — признак того, что итоговый эффект теста стоит оценивать по данным поздних дней, а не по средним за весь период.

Подводные камни

• Частые ошибки. делать вывод об успехе фичи по первым нескольким дням теста, когда эффект новизны ещё силён; не разделять пользователей по давности нахождения в тесте при анализе тренда метрики; путать novelty effect с обратным явлением — «эффектом привыкания», когда первоначальное сопротивление изменению снижает метрику на старте, а затем она растёт; оба эффекта требуют анализа динамики во времени, а не точечного вывода. Ещё одна ошибка — продлевать тест бесконечно в ожидании полного затухания эффекта новизны, не определив заранее разумный горизонт наблюдения, после которого решение всё равно нужно принять.