Сообщить об ошибкеКороткий ответ
Мощность теста — это вероятность обнаружить реально существующий эффект заданного размера, если он действительно есть. Стандартное требование — мощность 80%, то есть допускается до 20% шанса пропустить реальный эффект (ошибка II типа).
Как это работает подробнее
мощность зависит от размера выборки, величины эффекта, вариативности метрики и выбранного уровня alpha: больше выборка и эффект — выше мощность при прочих равных.
Пример: при мощности 80% и реальном эффекте +1 п.п. конверсии вероятность, что тест правильно покажет значимый результат, — 80%, а вероятность пропустить эффект (ошибка II типа, бета) — 20%. Sanity check: если тест регулярно «не находит» ожидаемые эффекты, стоит проверить расчёт мощности, а не менять выводы на лету.
Что использовать на практике
- мощность рассчитывают на этапе планирования теста вместе с размером выборки; низкая мощность — частая причина, почему «тест ничего не показал», хотя эффект мог существовать.
Подводные камни
- путают мощность со статистической значимостью полученного результата; мощность — это свойство дизайна эксперимента «до» теста, а не свойство конкретного p-value «после».