Сообщить об ошибкеКороткий ответ
P-value — это вероятность получить наблюдаемую (или более выраженную) разницу между вариантами при условии, что на самом деле разницы нет; низкий p-value (например, менее 0.05) говорит, что наблюдаемый результат маловероятен при отсутствии реального эффекта.
Как это работает подробнее
P-value не говорит о величине эффекта и не является «вероятностью того, что вариант B лучше» — это распространённая путаница; он лишь оценивает, насколько результат совместим с гипотезой «различий нет». В прикладных задачах чаще используют двусторонний тест (проверяющий отличие в любую сторону), а не односторонний, если заранее неизвестно, в какую сторону пойдёт эффект.
Пример. Вариант A: CVR 4.0% (n=5000) Вариант B: CVR 4.6% (n=5000) p-value = 0.04 -> статистически значимо при пороге 0.05 Но доверительный интервал разницы: [0.1%; 1.1%] - эффект может быть как очень маленьким, так и заметным
Что использовать на практике
- Практика. При принятии решений стоит смотреть на p-value вместе с размером эффекта и доверительным интервалом, а не только на факт прохождения порога 0.05. При коммуникации результатов стейкхолдерам полезно переводить p-value в более понятную формулировку («вероятность случайности такого результата составляет 4%»), избегая жаргона без пояснения. Полезно также рассчитывать не только p-value, но и размер эффекта (например, относительный прирост в процентах), чтобы коллеги без статистического бэкграунда понимали практическую значимость результата.
Подводные камни
- Частые ошибки. Ошибка — трактовать p-value = 0.049 как «точно работает», а p-value = 0.051 как «точно не работает», хотя разница между ними несущественна и зависит от случайности выборки. Ошибка — обобщать результат одного теста с конкретным p-value на другие сегменты аудитории или другие периоды без дополнительной проверки.