Продакт-менеджер просит смотреть на дашборд теста каждый день и 'выключить сразу, как увидим значимость'. Как объяснить риск и что предложить вместо этого?

Короткий ответ

Ежедневная проверка с остановкой по первому значимому результату (peeking) резко завышает фактическую вероятность ложноположительного вывода по сравнению с заявленным alpha. Вместо этого нужно либо держать фиксированный горизонт теста (fixed-horizon), либо заранее использовать методологию, рассчитанную на повторные проверки — sequential testing / alpha spending (например, O'Brien-Fleming) или always-valid p-values.

Как это работает подробнее

при fixed-horizon alpha гарантированно контролируется только для одной финальной проверки на заранее определённом объёме выборки; при sequential-дизайне порог значимости на каждой промежуточной проверке корректируется так, чтобы суммарная вероятность ложного срабатывания за всё время теста не превышала общую alpha.

Компромиссное предложение: зафиксировать заранее рассчитанную длительность (например, 14 дней на основе расчёта размера выборки) для принятия решения, при этом разрешить ежедневный мониторинг guardrail-метрик (крэши, ошибки оплаты) с правом экстренной остановки только по ним, отдельно от финального статистического вывода по основной метрике.

Что использовать на практике

• мониторинг дашборда для проверки здоровья теста (нет ли SRM, не упали ли guardrail-метрики критично) — это нормально и даже нужно; проблема именно в принятии финального решения по промежуточному p-value без соответствующей методологии.

Подводные камни

• обещание 'выключим сразу как увидим значимость' без объяснения, что это меняет фактическую вероятность ошибки I типа с 5% до существенно более высокой величины — часто команда не понимает масштаб риска, пока не увидит симуляцию.