Сообщить об ошибкеКороткий ответ
Нужно оценить эффект не только в процентах метрики, но и в абсолютных деньгах/времени при текущем масштабе (объём трафика, бюджет), а также сопоставить с затратами на внедрение изменения — иногда статистически реальный, но крошечный эффект не оправдывает ресурсов на постоянное использование варианта.
Как это работает подробнее
Статистическая значимость говорит лишь о том, что эффект, вероятно, реален, но не о его практической величине; при большом объёме данных даже очень маленькая разница может оказаться «значимой», не будучи значимой для бизнеса. Это особенно характерно для тестов с очень большим трафиком (крупные e-commerce проекты), где даже сотые доли процента разницы в конверсии технически проходят порог значимости.
Пример. CVR контроль: 4.00%, CVR вариант B: 4.08% (p=0.03, значимо при большом трафике) Абсолютный эффект при 50 000 визитов/мес: +40 доп. конверсий/мес Затраты на поддержку варианта B: требует ручного обновления контента еженедельно Решение зависит от того, оправдывают ли 40 доп. конверсий трудозатраты - это решение на основе unit-экономики конкретного бизнеса, а не только статистики.
Что использовать на практике
- Практика. Стоит заранее (до теста) определить минимальный практически значимый эффект (MPE/MDE с точки зрения бизнеса), а не только статистический порог, и сравнивать результат именно с этим порогом при принятии решения о внедрении. Стоит сопоставлять эффект не только с текущим объёмом трафика, но и с ожидаемым ростом в будущем — небольшой сейчас эффект может стать существенным при планируемом масштабировании бизнеса.
Подводные камни
- Частые ошибки. Ошибка — автоматически внедрять любой «статистически значимый» вариант, даже если прирост CVR составляет 0.1 процентного пункта, а изменение требует постоянных трудозатрат на поддержку (например, сложную персонализацию). Ошибка — игнорировать небольшой, но стабильно воспроизводимый эффект только потому, что он показался «неинтересным», хотя при аккумуляции на годовом горизонте он может дать заметный финансовый результат.