Сообщить об ошибкеКороткий ответ
На раннем этапе данные случайны и могут временно показывать преимущество одного варианта, которое исчезнет при накоплении большего объёма данных, поэтому досрочная остановка завышает число ложных «побед».
Как это работает подробнее
Чем чаще проверять промежуточные результаты и останавливать тест при первом удобном моменте, тем выше шанс случайно поймать временный всплеск в пользу одного из вариантов. Это явление иногда называют регрессией к среднему: экстремальные ранние значения метрики со временем сглаживаются по мере накопления более типичных наблюдений.
Пример. На третий день теста вариант B показывает конверсию на 40% выше при 15 конверсиях; команда останавливает тест — а на 14-й день при 150 конверсиях разница исчезает, так как ранний результат был случайным всплеском.
Что использовать на практике
- Практика. Заранее нужно определить срок или объём данных для завершения теста и придерживаться его, либо использовать методику, рассчитанную на периодическую проверку (sequential testing). Если команде важно видеть прогресс в динамике, стоит фиксировать на дашборде именно накопленный объём данных, а не разницу метрик, чтобы не провоцировать преждевременные выводы. Если бюджет ограничен и тест нужно вести быстрее, лучше сократить число тестируемых вариантов, а не сокращать срок или объём данных уже выбранного теста.
Подводные камни
- Частые ошибки. Типичная ошибка новичка — проверять тест каждый день и останавливать его, как только разница «стала значимой» по калькулятору, не рассчитанному на многократные проверки. Похожая ошибка — повторно перезапускать тест с нуля каждый раз, когда промежуточный результат «не устраивает», вместо того чтобы довести один тест до заранее определённого объёма данных.