Сообщить об ошибкеКороткий ответ
Такая практика называется peeking и увеличивает фактическую вероятность ложноположительного результата намного выше заявленных 5%, потому что при каждой дополнительной проверке есть шанс случайно «поймать» значимость, даже если реального эффекта нет.
Как это работает подробнее
p-value колеблется день от дня из-за случайности; чем больше раз тест проверяют и останавливают по первому пересечению порога значимости, тем выше шанс остановиться именно в момент случайного выброса.
Пример (симуляция): при alpha=0.05 и ежедневной проверке теста в течение 14 дней без реального эффекта фактическая вероятность хотя бы раз увидеть p<0.05 может превышать 20-30% вместо заявленных 5%. Проверка: сравнить дизайн теста с запланированной длительностью — если тест остановили раньше срока из-за «уже значимого» результата, вывод требует дополнительной осторожности.
Что использовать на практике
- длительность теста и объём выборки фиксируют заранее (fixed horizon) и не останавливают тест раньше срока только потому, что результат уже «значим»; промежуточные проверки допустимы для мониторинга здоровья теста, но не для принятия решения.
Подводные камни
- радостное «ура, уже на третий день p<0.05, выключаем тест и раскатываем» — классическая ошибка peeking, которая резко завышает долю ложных побед.