Сообщить об ошибкеКороткий ответ
Объясняю, что многократная проверка результата теста до достижения запланированного размера выборки (peeking) сильно завышает вероятность ложноположительного результата, и предлагаю либо дождаться заранее рассчитанной длительности/выборки, либо использовать методологию, рассчитанную на промежуточные проверки (например, групповые последовательные тесты).
Как это работает подробнее
классический расчёт p-value предполагает единственную проверку результата в конце эксперимента; при многократном подглядывании вероятность хотя бы раз увидеть «значимый» результат случайно намного выше заявленного уровня значимости (например, 5%), даже если реального эффекта нет.
Что использовать на практике
- На практике: показываю продакт-менеджеру изначально рассчитанный минимальный размер выборки/длительность теста (с учётом MDE и мощности) и объясняю, что текущий результат получен раньше этого срока. Предлагаю варианты: дождаться запланированного окончания; заранее согласовать методологию с поправкой на множественные проверки, если решения нужны быстрее; учесть также риск novelty effect на старте теста.
- Пример: Расчёт на старте теста: при базовой конверсии 10%, ожидаемом MDE 1 п.п. и мощности 80% нужная выборка — около 2 недель трафика. На 2-й день набрано ~15% от нужной выборки — текущая «значимость» статистически ненадёжна. Проверка: если есть возможность, показать график p-value по дням с начала теста — типичная картина при отсутствии реального эффекта — p-value «скачет» ниже и выше 0.05 несколько раз за период набора данных.
Подводные камни
- Частые ошибки: соглашаться остановить тест раньше срока просто потому, что текущий результат «выглядит убедительно»; не объяснять бизнесу количественно, почему ранняя остановка опасна (не просто «так не положено»); игнорировать, что при более длительном тесте эффект может уменьшиться или исчезнуть (регрессия к среднему, novelty effect).