Какие условия нужно соблюсти, чтобы результат A/B-теста рекламных креативов можно было считать достоверным?

Короткий ответ

Чем меньше ожидаемый эффект, тем больше наблюдений нужно для его обнаружения. Пересечение аудиторий и изменение нескольких переменных затрудняют интерпретацию.

Как это работает подробнее

Статистическая значимость означает, что наблюдаемая разница между вариантами с высокой вероятностью не случайна; для этого нужен минимальный объём конверсий на каждый вариант, причём чем меньше ожидаемая разница эффекта, тем больше требуется выборка, и контроль того, что оба варианта показывались в сопоставимых условиях. Для расчёта необходимого размера выборки заранее можно использовать калькуляторы статистической значимости A/B-теста, вводя ожидаемый базовый CR и минимальный размер эффекта, который команда хочет уверенно обнаружить.

Что использовать на практике

• Рассчитайте выборку заранее, используйте встроенный инструмент разделения трафика и заранее задайте длительность, критерий успеха и правило остановки.

Подводные камни

• Досрочное завершение при небольшом числе конверсий повышает риск ложного победителя; сравнение кампаний с разными условиями не является чистым экспериментом.