Сообщить об ошибкеКороткий ответ
Доверительный интервал показывает диапазон, в котором с заданной вероятностью (обычно 95%) находится истинная разница между вариантами; если интервал полностью выше нуля — эффект, вероятно, положительный, если он широкий и включает ноль — данных пока недостаточно для уверенного вывода.
Как это работает подробнее
Чем шире доверительный интервал, тем менее точно известна истинная величина эффекта; широкий интервал может включать и «эффекта почти нет», и «эффект довольно большой» одновременно, и важно смотреть на обе границы, а не только на точечную оценку. Ширина доверительного интервала напрямую зависит от объёма накопленных данных — поэтому при недостаточном трафике интервал почти всегда будет широким, даже если точечная оценка эффекта выглядит убедительно.
Пример. Точечная оценка прироста CVR: +15% 95% доверительный интервал: [-2%; +32%] Интервал включает ноль и даже небольшое отрицательное значение - несмотря на обнадёживающую точечную оценку, данных пока недостаточно для уверенного масштабирования варианта.
Что использовать на практике
- Практика. При принятии решения о масштабировании стоит ориентироваться не только на то, что интервал не включает ноль, но и на нижнюю границу интервала — достаточен ли эффект даже в консервативном (нижнем) сценарии для оправдания изменения. При сравнении нескольких метрик теста стоит для каждой строить свой доверительный интервал, а не полагаться только на p-value, чтобы видеть не только факт значимости, но и величину эффекта.
Подводные камни
- Частые ошибки. Ошибка — обращать внимание только на точечную оценку эффекта (например, «+15% к конверсии»), игнорируя, что доверительный интервал этой оценки может быть очень широким (от -2% до +32%), то есть реальный эффект крайне неопределён. Ошибка — округлять границы интервала до «красивых» чисел в презентации результатов, теряя важные нюансы о реальной неопределённости оценки.