Сообщить об ошибкеКороткий ответ
Сезонность (дни недели, праздники, распродажи) может менять базовый уровень и вариативность метрики независимо от теста, поэтому план теста должен покрывать репрезентативный период, а интерпретация результатов, собранных вокруг аномального периода (например, праздников), должна учитывать, что эффект может быть нетипичным для обычных недель.
Как это работает подробнее
Как это работает: во время праздников поведение пользователей (импульсивные покупки, иной состав аудитории, другой трафик из рекламы) может отличаться настолько, что эффект изменения, измеренный в этот период, не переносится на обычные недели — risk of внешней невалидности результата.
Пример: тест шёл 7 дней, включая Новый год, конверсия в B выросла на 1.5 п.п. При разбивке по дням видно, что весь эффект сосредоточен в 2 праздничных днях, а в оставшиеся 5 дней разница близка к нулю. Вывод для отчёта: «наблюдаемый эффект может быть специфичен для праздничного периода, требуется повторная проверка на обычных неделях».
Что использовать на практике
- На практике: если тест пересекается с крупным праздником или распродажей, желательно либо продлить тест так, чтобы праздничный период был лишь частью, а не всем окном наблюдения, либо анализировать праздничный и обычный период раздельно и явно обозначать это ограничение в выводах.
Подводные камни
- Частые ошибки: запуск короткого теста целиком внутри аномального периода (например, только во время 'чёрной пятницы') и обобщение вывода 'фича увеличивает конверсию на X%' на весь оставшийся год без оговорок.