Сообщить об ошибкеКороткий ответ
Значимость оценивается через статистический тест (например, для CTR — тест пропорций), который учитывает размер выборки и разницу в результатах; на малой выборке разница может быть случайной, поэтому делать выводы в первый день, пока накоплено мало показов, рискованно.
Как это работает подробнее
статистический тест сравнивает наблюдаемую разницу между вариантами с ожидаемой случайной вариацией при данном размере выборки и выдаёт p-value — вероятность получить такую или большую разницу случайно, если варианты на самом деле не отличаются; обычно за порог значимости берут p-value < 0,05, хотя порог нужно обсуждать в зависимости от важности решения.
Вариант A: 1 000 показов, 25 кликов (CTR 2,5%). Вариант B: 1 000 показов, 30 кликов (CTR 3%) после одного дня — разница в пределах случайного шума при такой выборке. Проверка: продолжить тест до заранее рассчитанного минимального числа показов/кликов на вариант и только после этого проверить p-value через калькулятор значимости.
Что использовать на практике
- Практический подход. перед запуском теста полезно заранее прикинуть нужный размер выборки (калькулятор мощности теста) и не останавливать тест раньше срока только потому, что один из вариантов на короткое время показал лучший результат.
Подводные камни
- Частые ошибки. останавливать A/B-тест после нескольких часов или первого дня, увидев «явного лидера», хотя разница ещё в пределах случайного шума; тестировать слишком много переменных одновременно (текст, картинка, аудитория) в одном креативе, из-за чего невозможно понять, что именно повлияло на результат.