Сообщить об ошибкеКороткий ответ
Доверительный интервал (ДИ) — это диапазон значений эффекта, который с заданной вероятностью (обычно 95%) накроет истинную разницу между группами при многократном повторении эксперимента. Чем шире интервал, тем менее точна оценка эффекта.
Как это работает подробнее
95% ДИ означает, что если повторить эксперимент много раз и каждый раз строить такой интервал, то примерно в 95% случаев он будет содержать истинное значение эффекта — это не вероятность для конкретного интервала.
Пример: конверсия A = 10.0%, B = 10.8%, разница +0.8 п.п., 95% ДИ = [+0.1; +1.5] п.п. Вывод: эффект скорее всего положительный, но величина неопределённа — от почти незаметного до заметного. Проверка: сузить интервал можно только увеличением выборки или длительности теста, а не пересчётом по тем же данным.
Что использовать на практике
- ДИ полезен для оценки и размера эффекта, и его неопределённости: если интервал [-0.5%; +3.5%], эффект может быть как отрицательным, так и ощутимо положительным — решение рискованно.
Подводные камни
- путают ширину интервала с размером эффекта; игнорируют то, что интервал, не пересекающий ноль, не говорит о величине практического эффекта, только о его знаке с заданной доверительной вероятностью.