Сообщить об ошибкеКороткий ответ
Доверительный интервал (например, 95%) — это диапазон значений, который при многократном повторении процедуры сбора выборки и расчёта интервала накрывает истинное значение показателя примерно в 95% случаев; это не «вероятность того, что истина лежит внутри конкретного интервала».
Как это работает подробнее
интервал строится вокруг точечной оценки (например, среднего) с учётом стандартной ошибки и выбранного уровня доверия; шире выборка — уже интервал при прочих равных. Чем выше выбранный уровень доверия (например, 99% вместо 95%), тем шире получается интервал при тех же данных.
Пример кода
Пример на Python
import numpy as np
from scipy import stats
sample = np.random.normal(50, 10, size=40)
mean = sample.mean()
ci = stats.t.interval(0.95, len(sample)-1, loc=mean, scale=stats.sem(sample))
print(mean, ci)Что использовать на практике
- На практике: доверительный интервал даёт представление о неопределённости оценки, а не только о самом числе — например, конверсия 3.2% с интервалом [2.0%; 4.4%] выглядит гораздо менее надёжной, чем та же конверсия с интервалом [3.0%; 3.4%]. Широкий интервал — сигнал, что выборки мало для уверенных выводов. На практике также полезно явно указывать используемый уровень доверия (90%, 95%, 99%) в каждом отчёте, так как выбор порога влияет на ширину интервала и, соответственно, на восприятие надёжности результата.
- Проверка: увеличить
sizeдо 400 и перезапустить — интервал должен заметно сузиться при той же изменчивости данных, что подтверждает связь ширины интервала с размером выборки.
Подводные камни
- Частые ошибки: говорить «вероятность 95%, что истинное значение внутри этого конкретного интервала» — корректная интерпретация относится к процедуре построения интервалов в долгосрочной перспективе, а не к единичному интервалу; игнорировать ширину интервала и сравнивать только точечные оценки двух групп; путать доверительный интервал с диапазоном самих данных (min-max). Ещё одна ошибка — забывать, что для малых выборок точный интервал (например, t-распределение) отличается от интервала на основе нормального приближения, и использование последнего может давать слишком узкий, самоуверенный результат.