Сообщить об ошибкеКороткий ответ
Доверительный интервал даёт больше полезной информации для решения, чем p-value, так как сразу показывает величину и направление эффекта с учётом неопределённости — p-value отвечает лишь на вопрос "отличается ли эффект от нуля", но не на вопрос "насколько велик эффект и стоит ли он внедрения".
Как это работает подробнее
p-value — единственное число, сводящее результат к бинарному решению "значимо / не значимо" при заданном пороге; доверительный интервал показывает диапазон правдоподобных значений эффекта, что позволяет сразу сопоставить его с порогом практической значимости (MDE) и с ценой внедрения.
Sanity check: если ci = (-0.0008, 0.0168), видно, что ноль почти не входит в интервал (p около 0.07) и правдоподобный эффект может быть как близким к нулю, так и заметным — это более информативно для решения, чем сам факт p>0.05.
Пример кода
from scipy import stats
import numpy as np
diff = 0.008 # +0.8 п.п.
se = 0.0045
ci = stats.norm.interval(0.95, loc=diff, scale=se)
p_value = 2 * (1 - stats.norm.cdf(diff / se))
print(ci, p_value)Что использовать на практике
- Решение о запуске лучше строить на сочетании: входит ли ноль в доверительный интервал (аналог проверки значимости), и насколько нижняя граница интервала отличается от заранее согласованного порога MDE. Например, эффект со значимым p-value, но интервалом [0.1%
- 0.3%] при MDE 0.5% говорит, что даже лучший правдоподобный сценарий может не окупить затраты — одно p-value этого не покажет. Также полезно визуализировать доверительный интервал графически (например, столбец с усами погрешности) в самом отчёте для стейкхолдеров — это нагляднее передаёт неопределённость, чем одно число p-value.
Подводные камни
- Принимать решение по единственному критерию "p < 0.05" без взгляда на величину эффекта и его интервал
- Интерпретировать широкий доверительный интервал, включающий и очень маленькие, и большие положительные значения, как однозначно позитивный результат
- Игнорировать нижнюю границу интервала при оценке риска "эффект может оказаться намного меньше точечной оценки". Ещё одна ошибка — рассматривать доверительный интервал и p-value как взаимоисключающие инструменты, хотя они дают взаимодополняющую информацию и обычно должны использоваться вместе.