Сообщить об ошибкеКороткий ответ
При последовательном тестировании варианты разделены во времени, поэтому любые изменения внешних условий между периодами (сезонность, конкуренция, алгоритм площадки) подмешиваются к результату; при одновременном запуске оба варианта находятся в одинаковых внешних условиях, что делает сравнение чище.
Как это работает подробнее
Одновременный сплит контролирует внешние переменные «по умолчанию» за счёт того, что оба варианта работают в одном временном окне; последовательный тест требует дополнительных допущений о том, что ничего существенного не изменилось между периодами, что часто не соответствует действительности. В некоторых случаях последовательное тестирование допустимо как временная мера, но тогда стоит максимально сократить интервал между периодами и подбирать сопоставимые отрезки времени (два соседних будних дня, а не будний и выходной).
Пример. Последовательный тест: вариант A - первая неделя октября, вариант B - вторая неделя октября Разница в CVR: +18% у варианта B Но: во вторую неделю октября стартовала сезонная распродажа у конкурентов -> часть эффекта объясняется внешним фактором, а не самим вариантом B
Что использовать на практике
- Практика. Последовательное тестирование допустимо только тогда, когда одновременный запуск технически невозможен (например, изменение затрагивает весь продукт целиком, а не отдельный сегмент), и в таком случае нужно явно оговаривать это ограничение при интерпретации результатов. Если позже нужно подтвердить результат последовательного теста, стоит при первой возможности повторить его уже в формате одновременного сплита для большей надёжности вывода.
Подводные камни
- Частые ошибки. Ошибка — выбирать последовательное тестирование просто потому, что так проще технически настроить, игнорируя доступный инструмент одновременного сплита, который дал бы более надёжный результат. Ошибка — объединять данные из разных периодов последовательного теста в одну выборку для расчёта статистической значимости, как будто они были собраны в одинаковых условиях.