Когда оправдано проводить holdout- или geo-эксперименты для измерения инкрементальности, учитывая, что они временно снижают эффективность части кампаний?

Короткий ответ

Holdout ограничивает воздействие канала для части аудитории или регионов и сравнивает итоговый бизнес-результат с контролем. Один тест применим лишь к изученным условиям.

Как это работает подробнее

В holdout или geo-эксперименте часть аудитории или регионов временно лишается канала или получает сильно сниженный бюджет, а другая часть продолжает получать его как обычно; разница в итоговых бизнес-метриках между группами — это оценка инкрементального эффекта канала, которую невозможно получить только из атрибуционных отчётов. Помимо географического деления, holdout можно организовать на уровне случайно выбранных пользователей внутри одного региона, где это технически поддерживается платформой, что может быть точнее при сильных региональных различиях в поведении аудитории.

Что использовать на практике

• Начинайте с крупных и неопределённых каналов; спланируйте выборку, длительность, сопоставимость групп и предел допустимого риска до запуска.

Подводные камни

• Слишком короткий или малый тест не даст надёжного вывода, а избегание тестов навсегда оставляет компанию зависимой от непроверенных допущений.