Сообщить об ошибкеКороткий ответ
Частые проверки результатов и остановка теста в момент, когда разница «случайно» выглядит значимой, резко увеличивают долю ложноположительных выводов по сравнению с заранее запланированной однократной проверкой в конце теста.
Как это работает подробнее
Стандартные расчёты значимости (порог 95%) предполагают одну проверку результата после сбора заранее определённого объёма данных; при многократных промежуточных проверках вероятность случайно «поймать» момент мнимой значимости растёт с каждой новой проверкой. Некоторые современные инструменты A/B-тестирования уже встраивают корректировку на последовательный мониторинг (group sequential design), официально разрешающую промежуточные проверки по специальному графику.
Пример. День 3: p=0.04 -> "значимо", тест остановлен Если бы тест продолжили до запланированных 14 дней: День 14: p=0.21 -> эффект не подтвердился Вывод: ранняя «значимость» часто оказывается случайным всплеском на малой выборке.
Что использовать на практике
- Практика. Если нужно следить за тестом в динамике, стоит использовать методы, разработанные для последовательного анализа (sequential testing / always-valid p-values), либо жёстко придерживаться заранее заданного срока окончания без досрочных решений о «победе». Если команда хочет регулярно отчитываться о статусе теста, стоит явно формулировать промежуточный отчёт как «тест продолжается, пока нет оснований для вывода», а не как предварительный результат.
Подводные камни
- Частые ошибки. Ошибка — ежедневно смотреть в отчёт и завершать тест, как только калькулятор значимости впервые показывает «95%», не понимая, что сам калькулятор не рассчитан на многократные проверки. Ошибка — использовать для промежуточной проверки тот же калькулятор значимости, что и для финального анализа, не делая поправки на многократность проверок.