Сообщить об ошибкеКороткий ответ
В A/B-тесте оба варианта показываются одновременно на разделённой аудитории, поэтому внешние факторы (сезонность, конкуренция, алгоритм) влияют на них одинаково; при сравнении по периодам эти факторы различаются, и разница в метриках может объясняться не изменением, а внешними условиями.
Как это работает подробнее
Одновременный показ исключает временные колебания спроса, цен в аукционе, активности конкурентов — все эти факторы одинаково действуют на обе группы. Это особенно критично в performance-маркетинге, где цена клика и конкуренция в аукционе меняются день ото дня и даже в течение суток.
Пример. Если в октябре CPA вырос на 20% по сравнению с сентябрём после смены баннера, нельзя сделать вывод «баннер хуже» — нужно проверить, не было ли параллельно роста цен в аукционе из-за сезона (например, преддверие распродаж).
Что использовать на практике
- Практика. Сравнение «было в прошлом месяце / стало в этом» допустимо только как грубая прикидка, когда A/B-тест невозможен технически, и тогда нужно явно обозначать это ограничение. Если всё же приходится сравнивать периоды (например, при полном редизайне сайта без возможности сплита), стоит зафиксировать все известные внешние изменения за этот срок как ограничение выводов.
Подводные камни
- Частые ошибки. Распространённая ошибка — сравнивать CPA до и после смены креатива и приписывать всю разницу креативу, игнорируя, что одновременно изменился сезон или бюджет. Часто путают корреляцию с причинностью: рост конверсии мог быть вызван не изменением объявления, а параллельным запуском email-рассылки или PR-активностью. Ещё один пример — сравнивать конверсию кампании до и после смены агентства/подрядчика, приписывая всю разницу качеству работы, хотя одновременно могли смениться сезон, цены конкурентов или сам продукт.