Сообщить об ошибкеКороткий ответ
p-value — это вероятность получить наблюдаемую (или более выраженную) разницу между группами при условии, что на самом деле никакого эффекта нет (верна нулевая гипотеза). Маленькое p-value говорит, что такая разница случайно при отсутствии эффекта маловероятна.
Как это работает подробнее
p-value считается относительно нулевой гипотезы «различий нет» и конкретного статистического теста (например, z-теста для долей); это не вероятность того, что гипотеза верна, и не вероятность того, что эффект есть.
Пример: тест показал конверсию 5.0% в A и 5.4% в B, p-value = 0.02 при alpha = 0.05. Корректная формулировка: «если бы истинного эффекта не было, такая или более сильная разница наблюдалась бы с вероятностью 2%». Это не означает автоматически, что стоит раскатывать B — нужно смотреть ещё и на размер эффекта.
Что использовать на практике
- p-value сравнивают с заранее выбранным уровнем значимости alpha (обычно 0.05); если p-value меньше alpha, результат называют статистически значимым на этом уровне.
Подводные камни
- трактовка «p-value = 0.03, значит, вероятность что нет эффекта 3%» — неверна; p-value не говорит ни о размере эффекта, ни о его практической значимости.