Короткий ответ Сначала отделите быстрый аудит данных от статистического решения. Покажите текущий эффект и качество разбиения, но явно укажите, что просмотр результата после многократного peeking не сохраняет обычный уровень ошибки, а ранний подъём может быть novelty effect. Как это работает подробнее Минимальная проверка включает размеры групп, sample ratio mismatch, динамику метрики и числа пользователей по дням. Если план эксперимента, минимальный detectable effect и правило остановки не были заданы заранее, обычный p-value нельзя использовать как безусловное доказательство победы. Стабильность эффекта по дням помогает обнаружить краткосрочный всплеск, но сама по себе не исправляет peeking. Для последовательного мониторинга нужен заранее выбранный sequential-тест или alpha-spending. Пример кода Что использовать на практике Зафиксируйте статус результата. Назовите его предварительным, перечислите выполненные и невыполненные проверки. Проверьте SRM. Сопоставьте наблюдаемые размеры групп с ожидаемым распредел
Загрузка…
