Результат A/B-теста показал статистически значимый p-value, но абсолютный прирост конверсии — 0.2 процентных пункта. Как объяснить стейкхолдеру, стоит ли внедрять изменение?

Короткий ответ

Объясню, что статистическая значимость говорит лишь о том, что эффект скорее всего не случаен, но не о том, что он достаточно велик, чтобы быть ценным для бизнеса — нужно отдельно оценить практическую значимость (денежный эффект, стоимость внедрения и поддержки) и сравнить её с затратами на изменение.

Как это работает подробнее

при больших выборках даже крошечный реальный эффект становится статистически значимым (p-value мал), потому что стандартная ошибка уменьшается с размером выборки. Статистическая значимость не говорит о величине эффекта и его ценности для бизнеса.

Что использовать на практике

• Применение. перевожу 0.2 п.п. в деньги или абсолютные единицы (например, «это ~40 дополнительных заказов в месяц при текущем трафике») и сравниваю с издержками на внедрение и поддержку изменения (разработка, техдолг, усложнение интерфейса). Также проверяю доверительный интервал эффекта — если он широкий и включает близкие к нулю значения, уверенность в величине эффекта низкая.
• Проверка или пример. Контроль: 100 000 пользователей, конверсия 3.00% Вариант B: 100 000 пользователей, конверсия 3.20% p-value = 0.03 (значим при alpha=0.05) Доверительный интервал разницы: [0.02%; 0.38%] Перевод в деньги: при среднем чеке 1500 руб. прирост 0.2 п.п. на 100 000 пользователей = ~300 дополнительных заказов = 450 000 руб./мес. Если внедрение стоит 500 000 руб. разработки и усложняет поддержку кода — экономический эффект под вопросом, несмотря на статистическую значимость.

Подводные камни

• Частая ошибка. говорить стейкхолдеру только «тест значим, можно катить» без перевода в бизнес-величины; путать «значимый» в статистическом смысле со словом «значимый» в бытовом смысле («важный», «большой») — это главная причина недопонимания с нетехнической аудиторией.