Сообщить об ошибкеКороткий ответ
Ошибка первого рода — отвергнуть верную нулевую гипотезу (ложное срабатывание, «увидели эффект, которого нет»); ошибка второго рода — не отвергнуть неверную нулевую гипотезу (пропуск реального эффекта, «не заметили эффект, который есть»).
Как это работает подробнее
вероятность ошибки первого рода контролируется выбранным уровнем значимости альфа; вероятность ошибки второго рода (бета) зависит от размера реального эффекта, размера выборки и изменчивости данных — мощность теста (1−бета) показывает способность теста обнаружить реальный эффект.
Что использовать на практике
- На практике. эти две ошибки находятся в компромиссе: ужесточение альфа (снижение риска ложного срабатывания) при прочих равных увеличивает риск пропустить реальный эффект, если не увеличить размер выборки. В задачах, где цена ложного внедрения высока (рискованные изменения), разумно использовать более строгий альфа; там, где цена упущенной возможности высока, важнее следить за мощностью теста. На практике полезно явно обсуждать с командой, какая из двух ошибок дороже для конкретного решения, и калибровать альфа и размер выборки исходя из этого, а не использовать единый стандарт для всех случаев.
- Пример. Таблица возможных исходов теста:
- Проверка. | | H0 верна | H0 неверна | |---|---|---| | Отвергли H0 | Ошибка I рода (α) | Верное решение | | Не отвергли H0 | Верное решение | Ошибка II рода (β) |
- Проверка. Sanity check: при симуляции 1000 A/A-тестов (где реального эффекта нет) доля тестов с p<0.05 должна быть близка к выбранному альфа (например, ~5%), что подтверждает контроль ошибки первого рода.
Подводные камни
- Частые ошибки. фокусироваться только на контроле ошибки первого рода, игнорируя мощность теста и риск ошибки второго рода; считать маленькую выборку с незначимым результатом доказательством отсутствия эффекта, хотя это может быть просто недостаточной мощностью; путать, какая ошибка «хуже» — это зависит от контекста задачи, а не является универсальным правилом. Ещё одна ошибка — считать мощность теста величиной, которая не требует отдельного расчёта, хотя для контроля ошибки второго рода она так же важна, как контроль альфа для ошибки первого рода.