На графике показаны доверительные интервалы конверсии для групп A и B, и они частично пересекаются. Можно ли по этому графику сразу сказать, что различие не значимо?

Короткий ответ

Пересечение по отдельности построенных доверительных интервалов групп A и B — не то же самое, что незначимость разницы между ними; правильный вывод о значимости разницы нужно делать по доверительному интервалу или p-value именно для разницы (B - A), а не по перекрытию интервалов отдельных групп.

Как это работает подробнее

интервал для разницы групп обычно уже, чем можно было бы наивно предположить по перекрытию двух отдельных интервалов, потому что он строится с учётом дисперсии именно разности, а не каждой группы по отдельности.

Пример: CR_A = 10.0% ± 0.5 п.п. (ДИ [9.5; 10.5]), CR_B = 11.0% ± 0.6 п.п. (ДИ [10.4; 11.6]) — интервалы слегка пересекаются в точке 10.4-10.5. Но при этом ДИ для разницы (B-A) может быть, например, [+0.2; +1.8] п.п., не пересекающий ноль — то есть разница статистически значима, хотя интервалы отдельных групп визуально перекрываются.

Что использовать на практике

• для вывода о значимости нужен либо явный p-value теста сравнения групп, либо ДИ, построенный непосредственно для разницы метрик — это то, что обычно показывают в отчётах A/B-платформ как основной результат.

Подводные камни

• визуальная оценка «интервалы пересекаются — значит, незначимо» часто неверна и может привести к пропуску реально значимого эффекта (ошибка II типа) из-за неправильной интерпретации графика.