Руководитель уже публично анонсировал запуск новой фичи и просит 'срочно подтвердить цифрами', что решение верное, предоставив результат A/B-теста за 2 дня при том, что по расчёту нужно 3 недели. Как вы поступите?

Короткий ответ

Единственно верного ответа нет, но профессионально корректный путь — явно разделить два разных действия: предоставить предварительный, явно помеченный как неполный снимок данных с указанием его ограничений (нет мощности, высокий риск ошибки) и отдельно обозначить реальный срок, когда можно дать статистически надёжный вывод, не подменяя одно другим и не подгоняя методологию под желаемый срок.

Как это работает подробнее

Как это работает: давление 'подтвердить уже принятое решение' создаёт риск мотивированной предвзятости (motivated reasoning) в анализе — соблазн выбрать удобную метрику, одностороннюю гипотезу или смягчённую формулировку, чтобы цифры 'сошлись' с ожиданием руководителя; профессиональная защита — заранее задокументированная методология (гипотеза, метрика, MDE, срок), на которую можно сослаться именно в такой ситуации.

Пример формулировки ответа руководителю: «За 2 дня из плановых 21 мы видим предварительный лифт +3% (95% ДИ [-5%; +11%], p=0.35) — это ещё не статистически надёжный результат, выборка слишком мала. Могу дать: (1) честный промежуточный статус с этими оговорками сейчас, или (2) полноценный вывод через 19 дней. Подгонять методологию под более быстрый "зелёный свет" не могу — это может привести к ошибочному решению, которое потом дороже откатывать.»

Что использовать на практике

• На практике: можно предоставить текущий статус (например, 'на 2-й день из 21 наблюдаем эффект +X%, 95% ДИ [...], но дизайн теста рассчитан на 21 день для надёжного вывода; текущая оценка носит предварительный и нестабильный характер') — это даёт руководителю информацию без ложного ощущения завершённости анализа.

Подводные камни

• Частые ошибки: молчаливое согласие 'подтвердить' выводами, подогнанными под желаемый ответ (смена метрики, смена alpha, одностороннего теста постфактум), что подрывает доверие к аналитике в целом, если позже окажется, что эффект был иным при полной выборке.
• Компромисс: можно пойти на компромисс по срокам (например, досогласовать промежуточную, явно предварительную оценку с описанием рисков, либо ускорить тест за счёт временного увеличения доли трафика в тесте, если это технически возможно и не создаёт других рисков), но нельзя идти на компромисс по честности интерпретации данных; у каждого варианта свои издержки — ускорение трафика может повлиять на другие тесты на той же аудитории, а предварительная оценка несёт риск быть неверно понята как финальная, поэтому решение зависит от того, какой риск организация готова принять.