Сообщить об ошибкеКороткий ответ
Однозначного правила нет — инкрементальные тесты (например, geo-holdout, где часть регионов не получает рекламу) оправданы при достаточно большом бюджете канала и высокой ставке решения (масштабировать или сократить канал), особенно когда стандартная атрибуция вызывает серьёзные сомнения; для небольших бюджетов и низких ставок затраты и время на такой тест обычно не оправданы.
Как это работает подробнее
инкрементальный тест измеряет разницу в бизнес-результате между группой, которая видела рекламу, и контрольной группой, которая не видела, что показывает реальный дополнительный эффект канала сверх того, что произошло бы без него, тогда как стандартная атрибуция просто приписывает конверсии каналам касания без такого контроля.
Компания тратит 30% рекламного бюджета на ретаргетинг с заявленным высоким ROAS по атрибуции. Geo-holdout тест (отключение ретаргетинга в нескольких регионах на 4 недели) показывает, что реальная разница в продажах между тестовыми и контрольными регионами значительно меньше, чем предполагает атрибуция. Проверка: решение о пересмотре доли бюджета на ретаргетинг принимается на основе разницы между тестовым и контрольным регионом, а не на основе первоначальной атрибуционной цифры ROAS.
Что использовать на практике
- Практический подход. инкрементальные тесты требуют значительного масштаба, времени на проведение и готовности временно «жертвовать» частью потенциального результата в контрольной группе — это оправдано для крупных и давно работающих каналов с устоявшимся высоким бюджетом, где переоценка или недооценка эффекта стоит компании много денег.
Подводные камни
- Частые ошибки. проводить инкрементальные тесты на слишком малых бюджетах/аудиториях, где результат статистически не интерпретируем; полностью отказываться от инкрементальных тестов «потому что дорого», продолжая принимать решения о крупных бюджетах на основе атрибуции, которая может систематически искажать картину.