Тест показал 95% ДИ для lift конверсии [+0.1%; +8.0%]. Как интерпретировать такой широкий интервал при принятии решения о раскатке фичи, и что бы вы предложили сделать дальше?

Короткий ответ

Широкий доверительный интервал говорит о высокой неопределённости точной величины эффекта при статистически значимом положительном направлении (интервал не пересекает ноль); решение о раскатке должно учитывать не только знак эффекта, но и то, что нижняя граница интервала (+0.1%) может быть экономически незначима, тогда как верхняя (+8.0%) — существенна.

Как это работает подробнее

Как это работает: ширина ДИ обратно пропорциональна корню из размера выборки; широкий интервал обычно означает, что выборка недостаточно велика для точной оценки эффекта, даже если удалось обнаружить его статистическую значимость.

Пример решения: если стоимость поддержки новой фичи оправдывается при lift от +1%, а нижняя граница ДИ составляет +0.1%, решение неочевидно — можно либо продлить тест для сужения интервала (например, удвоить размер выборки, что сузит ДИ примерно в sqrt(2) раз), либо принять решение раскатывать с явным указанием риска, что реальный эффект может быть минимальным.

Что использовать на практике

• На практике: стоит оценить, при каком минимальном эффекте (например, нижней границе интервала) раскатка экономически оправдана, с учётом стоимости поддержки изменения; если нижняя граница слишком мала для оправдания costs, можно продолжить сбор данных для сужения интервала перед финальным решением.

Подводные камни

• Частые ошибки: фокус только на точечной оценке эффекта (например, середина интервала +4%) без учёта того, что реальный эффект с равной вероятностью может быть близок к нижней границе и быть экономически незначимым.