Сообщить об ошибкеКороткий ответ
Тест на уровне кампании сравнивает целиком разные структуры/стратегии (например, разный биддинг или структуру таргетинга) с раздельными бюджетами и аукционами, тогда как тест на уровне ad set/группы объявлений сравнивает варианты внутри одной и той же структуры кампании и общего бюджета.
Как это работает подробнее
При тестировании на уровне кампании алгоритмы обучения и аукцион работают независимо для каждой кампании, что может само по себе создавать разницу в результатах, не связанную с тестируемым изменением; на уровне ad set варианты чаще конкурируют и обучаются в более сопоставимых условиях. В некоторых платформах есть специальные инструменты именно для тестирования на уровне кампании (Campaign Experiments в Google Ads), которые частично решают проблему независимого обучения алгоритма.
Пример. Тест A: новая структура кампании с автобиддингом (отдельная кампания, старт в понедельник) Тест B: старая структура (отдельная кампания, запущена месяц назад) Результаты будут отражать не только разницу в структуре, но и разницу в «возрасте»/обученности алгоритма - для чистоты сравнения лучше запускать обе кампании одновременно с нуля или использовать встроенный инструмент экспериментов платформы.
Что использовать на практике
- Практика. Для тонких изменений (креатив, заголовок, аудитория) обычно удобнее и корректнее тестировать на уровне ad set/группы объявлений; для стратегических изменений (структура аккаунта, стратегия назначения ставок) тест неизбежно идёт на уровне кампаний, и нужно закладывать более длительный срок на обучение алгоритма. Если тест всё же идёт на уровне отдельных кампаний, стоит запускать обе одновременно с одной даты и схожим стартовым бюджетом, чтобы минимизировать разницу в условиях обучения алгоритма.
Подводные камни
- Частые ошибки. Ошибка — сравнивать две отдельные кампании с разным бюджетом и расписанием запуска как «A/B-тест», не учитывая, что независимый аукцион и обучение алгоритма уже создают разницу в результатах независимо от тестируемой гипотезы. Ошибка — сравнивать метрики новой кампании, которая всё ещё в фазе обучения, с метриками старой, давно стабилизировавшейся кампании, как будто они в равных условиях.