Опишите, как спланировать и провести A/B-тест двух стратегий ставок (например, Target CPA vs Maximize Conversions) так, чтобы результат не был искажён разной длительностью фазы обучения или сезонностью?

Короткий ответ

Тест нужно проводить одновременно (сплит аудитории или кампаний в один и тот же период), с достаточной длительностью, покрывающей фазу обучения обеих стратегий и минимум один полный недельный цикл, а сравнение результатов делать только после выхода обеих групп из обучения, а не по средним цифрам за весь период теста.

Как это работает подробнее

Если тестировать стратегии последовательно (сначала одну, потом другую), результат смешивается с изменением сезонности, конкуренции и спроса между периодами; при параллельном сплите оба варианта работают в одних и тех же рыночных условиях, что устраняет этот источник искажения. Инструменты вроде Google Ads Campaign Experiments (Drafts & Experiments) распределяют трафик по версиям автоматически с сохранением сопоставимости.

Что использовать на практике

• На практике. Период теста должен быть не короче одного полного недельного цикла (а лучше 2-4 недели) и содержать достаточный объём конверсий в каждой ветке для статистической значимости; сравнение нужно делать только по данным после выхода обеих веток из фазы обучения, исключая первые дни из финального анализа.
• Пример. Google Ads Experiment на 4 недели, 50/50 сплит бюджета. Первые 7 дней каждой ветки исключаются из финального сравнения как период обучения; итоговое сравнение CPA/CPA считается по оставшимся 3 неделям с проверкой статистической значимости различия.

Подводные камни

• Частая ошибка. Частая ошибка — сравнивать среднее значение CPA за весь период теста, включая нестабильные первые дни обучения каждой стратегии, что занижает кажущуюся эффективность более долго обучающейся стратегии.