Что такое уровень значимости alpha и почему его выбирают до начала теста, а не после?

Короткий ответ

Alpha — это заранее установленный порог вероятности ложноположительного результата (ошибки I типа), который команда готова допустить, обычно 0.05. Его фиксируют до теста, чтобы решение «значим/не значим» не подгонялось под желаемый результат после того, как данные уже видны.

Как это работает подробнее

alpha — порог для p-value: если p-value < alpha, различие признаётся статистически значимым. При alpha = 0.05 в среднем 5% экспериментов без реального эффекта будут ошибочно признаны значимыми.

Пример недобросовестной практики: после теста с p-value = 0.06 аналитик пишет в отчёте «результат на грани значимости при alpha=0.1» без того, чтобы alpha=0.1 была согласована заранее. Проверка: в документе дизайна эксперимента должна быть зафиксирована alpha до запуска — это и есть способ защититься от такой подгонки.

Что использовать на практике

• alpha выбирают с учётом стоимости ошибки: для рискованных изменений (например, влияющих на платежи) иногда берут более строгий порог (0.01), для низкорисковых — можно и 0.05 или 0.1.

Подводные камни

• выбор или смена alpha постфактум, глядя на полученное p-value («у нас 0.07, давайте скажем, что alpha была 0.1») — это подгонка вывода под желаемый результат, которая обесценивает весь тест.