Сообщить об ошибкеКороткий ответ
Поведение аудитории (объём трафика, склонность к покупке, цена аукциона) может существенно различаться по дням недели и в разные периоды года/месяца, поэтому тест нужно планировать так, чтобы он захватывал полный и репрезентативный цикл, а не случайный отрезок.
Как это работает подробнее
Если тест стартует или заканчивается в нетипичный период (распродажа, праздники, начало/конец месяца для B2B с циклом оплат), наблюдаемый эффект может быть искажён этим периодом и не повторится в обычное время. Для многих вертикалей (туризм, образование) существуют собственные выраженные сезонные пики (отпускной сезон, начало учебного года), которые стоит учитывать отдельно от общих календарных праздников.
Пример. Тест запущен: 20-27 ноября (захватывает Black Friday 24 ноября) CVR в период теста: 7.2% (аномально высокий из-за акции) Обычный CVR вне акционных периодов: 3.5% Вывод о «победе» варианта, сделанный по этим данным, не будет репрезентативен для обычных недель.
Что использовать на практике
- Практика. Для большинства ниш закладывают минимум 1-2 полных недели теста; в периоды высокой волатильности (чёрная пятница, запуск нового продукта) лучше либо не запускать новые тесты, либо явно фиксировать, что результат относится именно к этому периоду. Если тест обязательно должен пройти через нестандартный период, полезно анализировать результаты раздельно по подпериодам («до акции» и «во время акции»), а не только по среднему за весь срок.
Подводные камни
- Частые ошибки. Ошибка — запускать тест лендинга за три дня до начала крупной распродажи и переносить выводы теста на «обычные» недели, хотя поведение покупателей в преддверии акции отличается. Ошибка — игнорировать разницу в поведении аудитории между первой и второй половиной месяца у продуктов с выраженной привязкой к дате зарплаты.