Команда продукта просит быстрее принять решение по результатам A/B теста, но текущая выборка даёт широкий доверительный интервал эффекта (например, от −2% до +10% по конверсии), что не позволяет уверенно сказать, положительный эффект или нет. Нужно ли увеличивать выборку/длительность теста ради точности, или принимать решение сейчас? Как рассуждать о таком компромиссе?

Короткий ответ

Решение зависит от стоимости ошибки и стоимости задержки: если ошибочный запуск легко откатить и дёшево стоит, можно принять решение раньше при более широком интервале; если откат дорог или эффект может быть сильно отрицательным, разумнее продлить тест ради точности — единого правильного ответа без учёта контекста бизнеса нет.

Как это работает подробнее

доверительный интервал отражает текущую неопределённость оценки эффекта; расширение выборки сужает интервал, но стоит времени (упущенная выгода или продолжающееся воздействие потенциально плохой фичи на часть пользователей), поэтому решение «ждать точности» или «решать сейчас» — это сопоставление стоимости неопределённости и стоимости задержки, а не чисто статистический вопрос.

Пример кода

example.txtКопировать

Текущий эффект: +4% конверсии, 95% CI [-2%; +10%], n = 40% от запланированной выборки.
Сценарий А (низкая обратимость, высокая цена ошибки): продлить тест ещё на 2 недели до набора полной выборки.
Сценарий Б (легко откатить, низкая цена ошибки): запустить на 100% с мониторингом ключевых метрик и готовностью к быстрому откату при ухудшении.

Что использовать на практике

• На практике: оцениваю: (1) асимметрию последствий — если нижняя граница интервала (−2%) при реализации означает небольшую приемлемую потерю, а верхняя (+10%) — значимый выигрыш, то риск от ошибки может быть приемлем; (2) обратимость решения — можно ли быстро откатить фичу при проблеме после раскатки; (3) стоимость продления теста — удержание части трафика в худшем варианте дольше, упущенное время на итерацию. На основе этого сопоставления предлагаю решение, а не только статистический порог значимости.
• Проверка: заранее (до начала теста) согласовать со стейкхолдерами, какой из сценариев применим к этой фиче, чтобы решение в моменте пиковой неопределённости не принималось в спешке и без критериев.

Подводные камни

• Частые ошибки: полностью игнорировать бизнес-контекст и действовать по жёсткому правилу «всегда ждём p<0.05 на запланированной выборке», даже когда задержка дорого стоит; или наоборот, всегда спешить с решением по любому промежуточному результату, игнорируя риск ошибочного и дорогого решения; не доносить до стейкхолдеров, что доверительный интервал включает ноль/отрицательные значения, представляя эффект как однозначно положительный.