Сообщить об ошибкеКороткий ответ
Победитель — это вариант, который показал статистически значимое превосходство по заранее выбранной главной метрике (например, CPA или CVR), а не просто чуть лучший результат по любому показателю.
Как это работает подробнее
Вывод о победителе делают после достижения нужного объёма данных и уровня значимости (обычно 90-95%), сравнивая именно ту метрику, которая была определена как главная до начала теста. Некоторые платформы (например, Google Ads Experiments) прямо показывают статус «эксперимент завершён, есть статистически значимый победитель», что упрощает финальное решение.
Пример. Главная метрика теста — CPA. Вариант A: CPA 500 руб., вариант B: CPA 430 руб. при статистической значимости 95% — вариант B признаётся победителем и масштабируется.
Что использовать на практике
- Практика. Если главная метрика показывает значимое улучшение, но вспомогательная метрика (например, качество лида) ухудшилась, стоит разобраться в причинах, прежде чем масштабировать «победителя». После признания победителя стоит документировать результат (величину эффекта, уровень значимости, дату теста) в общем реестре тестов, чтобы не повторять уже проверенную гипотезу в будущем. При объявлении победителя стоит сразу спланировать, как долго новый вариант будет оставаться единственным активным, прежде чем в ротацию добавят следующую гипотезу для улучшения.
Подводные камни
- Частые ошибки. Частая ошибка — задним числом менять критерий победы (например, переключаться с CPA на CTR), если по изначальной метрике тест не дал явного победителя. Ошибка — считать победителем вариант с лучшим результатом даже при недостаточном объёме данных, только потому что тест пора было заканчивать по срокам проекта.