Сообщить об ошибкеКороткий ответ
Статистическая значимость говорит, что наблюдаемое различие вряд ли объясняется случайностью; практическая значимость — о том, достаточно ли велик этот эффект, чтобы иметь реальную ценность для бизнеса. При очень больших выборках даже ничтожный по величине эффект может оказаться статистически значимым.
Как это работает подробнее
p-value зависит и от размера эффекта, и от размера выборки — при миллионах наблюдений даже разница конверсии в 0.01 п.п. может дать p < 0.05, но такая разница может не окупить затраты на внедрение изменения.
Пример кода
Пример на Python
from statsmodels.stats.proportion import proportions_ztest
count = [100500, 100000] # конверсии в абсолютных числах
nobs = [10000000, 10000000] # огромные выборки
stat, p = proportions_ztest(count, nobs)
print(p) # вероятно, очень маленький p-value
print((count[0]/nobs[0]) - (count[1]/nobs[1])) # но разница конверсий ничтожнаЧто использовать на практике
- На практике. вместе с p-value стоит всегда смотреть на размер эффекта и его доверительный интервал, а также сопоставлять его с заранее определённым порогом практической значимости (MDE), который отражает, какой эффект вообще имеет смысл для бизнеса — с учётом стоимости разработки, поддержки и рисков. Решение о раскатке фичи должно опираться на оба аспекта, а не только на «p < 0.05». Полезно заранее в плане эксперимента зафиксировать порог практической значимости (MDE) в бизнес-величинах — рублях, часах поддержки, количестве заказов — а не только в процентных пунктах метрики.
- Пример. Sanity check: сравнить рассчитанную разницу конверсий (например, 0.005 п.п.) с заранее согласованным MDE (например, 0.5 п.п.) — если фактический эффект меньше MDE, решение о раскатке должно учитывать это, несмотря на формальную статзначимость.
Подводные камни
- Частые ошибки. сообщать о «значимом росте» без указания величины эффекта и его доверительного интервала; считать статистически незначимый результат на маленькой выборке доказательством отсутствия эффекта (на самом деле просто не хватило мощности); принимать решение о масштабировании фичи только по факту p<0.05, игнорируя, что эффект может быть экономически незначим. Ещё одна ошибка — путать практическую незначимость эффекта с отсутствием эффекта вообще, хотя корректнее говорить, что эффект слишком мал, чтобы оправдать затраты на внедрение, а не что его нет.