Тест завершён, основная метрика выросла на 0.3 п.п., но p-value = 0.21. Руководитель просит 'на словах всё равно подтвердить, что фича работает, раз цифры в плюс'. Что вы ответите и как сформулируете вывод для бизнеса?

Короткий ответ

Корректный вывод: при текущей выборке эффект статистически не отличим от нуля — нельзя утверждать, что фича работает, но и нельзя утверждать, что она не работает; нужно либо продолжить сбор данных, либо явно признать результат неубедительным и обозначить дальнейшие шаги.

Как это работает подробнее

Как это работает: незначимый результат с положительным направлением эффекта — это не доказательство отсутствия эффекта и не доказательство его наличия; при p=0.21 данные совместимы и с отсутствием эффекта, и с небольшим положительным эффектом, и с небольшим отрицательным.

Формулировка для бизнеса: «Мы увидели рост метрики на 0.3 п.п., но при текущем объёме данных эта разница статистически не отличается от нуля (p=0.21, 95% ДИ включает отрицательные значения). Это означает, что мы не можем уверенно сказать, работает фича или нет — рекомендую либо продлить тест до набора расчётной выборки (ещё ~X дней), либо принять решение с явным осознанием риска ошибки.»

Что использовать на практике

• На практике: стоит показать доверительный интервал эффекта и объяснить, что он включает ноль и даже небольшие отрицательные значения; предложить варианты: продлить тест до достижения расчётного размера выборки, или признать эффект (если он есть) слишком малым для уверенного обнаружения в разумные сроки.

Подводные камни

• Частые ошибки: поддаться давлению и написать в отчёте 'фича показала положительный эффект' без оговорки про незначимость — это вводит стейкхолдеров в заблуждение и может привести к принятию решений на основе шума.