Как спроектировать geo-holdout тест для оценки инкрементальности канала ретаргетинга, и какие компромиссы и риски при этом возникают?

Короткий ответ

Нет единственно верной схемы теста: выбор между тестом на уровне гео-регионов, аудиторных групп или временных периодов зависит от масштаба бизнеса, доступного трафика и готовности жертвовать частью потенциальной выручки в контрольной группе, поэтому план теста и его риски нужно явно обсуждать с бизнесом перед запуском.

Как это работает подробнее

Geo-holdout тест делит регионы (или аудиторные сегменты) на тестовую (видит рекламу) и контрольную (не видит) группы со схожими историческими характеристиками и сравнивает результат между группами за период теста; разница между группами, скорректированная на исходные различия, — это оценка инкрементального эффекта канала.

Что использовать на практике

• Практика. Для надёжного результата нужна статистически достаточная выборка, балансировка групп по историческим показателям перед тестом, и защита от утечки воздействия между группами, например когда пользователь из контрольного гео видит рекламу через VPN или при поездке в тестовый регион.
• Пример. 10 регионов делятся на 5 тестовых (ретаргетинг включён) и 5 контрольных (отключён) на 4 недели, с предварительной проверкой сопоставимости по историческим продажам; план для обсуждения — если выручка в тестовых регионах выше контрольных на статистически значимую величину, которая меньше отчётного ROAS кабинета, бюджет ретаргетинга пересматривается пропорционально разнице.
• Компромисс. Полное отключение канала в контрольных регионах даёт наиболее чистый результат, но несёт прямой риск потери реальной выручки в этих регионах на время теста; более мягкая схема (снижение бюджета, а не полное отключение) снижает риск потери выручки, но усложняет интерпретацию и может недооценить реальную инкрементальность. Выбор зависит от терпимости бизнеса к риску, размера рынка и уверенности в текущей оценке ROAS — иногда правильный ответ — начать с небольшого пилотного теста на части регионов.

Подводные камни

• Риск. Частая ошибка — делать тест слишком коротким или на слишком малом трафике, из-за чего результат статистически ненадёжен, либо игнорировать различия между группами до теста при интерпретации результата.