Сообщить об ошибкеКороткий ответ
A/B-тест — это сравнение двух вариантов (объявления, лендинга, настройки) на разделённых случайным образом сегментах аудитории, чтобы понять, какой вариант даёт лучший результат по заранее выбранной метрике, а не полагаться на предположения.
Как это работает подробнее
Трафик делится на две (или больше) группы, каждая видит свой вариант, а дальше по накопленным данным сравнивают метрики — CTR, CVR, CPA — и делают вывод, какой вариант работает лучше. Уточнение: случайное распределение обычно выполняет сама рекламная платформа или инструмент тестирования (например, встроенный сплит Meta Ads), а не вручную через фильтры аудитории.
Пример. Два объявления с разными заголовками в одной группе объявлений Meta Ads получают одинаковый бюджет и аудиторию в течение недели; сравниваются CTR и CPA после накопления минимум нескольких сотен кликов на вариант.
Что использовать на практике
- Практика. Перед запуском важно зафиксировать гипотезу, основную метрику и минимальный срок/объём данных, иначе результат будет случайным, а не статистически обоснованным. Полезно заранее решить, что считается успешным результатом — абсолютное значение метрики или относительное улучшение к контролю, — чтобы не менять критерий после того, как данные уже видны.
Подводные камни
- Частые ошибки. Джуниоры часто делают вывод по первым суткам или по 20-30 кликам, путают «вариант B показал больше конверсий» с «вариант B статистически лучше». Ещё одна ошибка — тестировать сразу на всю неоднородную аудиторию без разделения на сегменты, из-за чего результат усредняется и теряет интерпретируемость для конкретной группы пользователей.