Сообщить об ошибкеКороткий ответ
Здесь нет единственно верного ответа: полностью убирать бюджет ретаргетинга на основании одного holdout-теста рискованно, так как часть инкрементального эффекта всё же есть и зависит от сегмента и давности взаимодействия, поэтому решение должно балансировать между доверием к отчётному ROAS платформы и данными инкрементальности, с постепенным пересмотром, а не резким переключением.
Как это работает подробнее
Отчётный ROAS платформы основан на модели атрибуции рекламного кабинета, которая засчитывает конверсию кампании, даже если пользователь купил бы и без показа рекламы (например, уже решивший купить клиент, которому просто показали баннер перед покупкой); holdout-тест с контрольной группой без показа рекламы измеряет именно добавленную ценность рекламы, сравнивая конверсию в тестовой и контрольной группах.
Что использовать на практике
- На практике. Практически стоит сегментировать ретаргетинг по давности/глубине взаимодействия и повторить holdout отдельно по сегментам: вероятно, инкрементальность различается между «посетителями страницы товара» и «начавшими оформление заказа», и бюджет логично перераспределять не поровну, а именно в сегменты с подтверждённой добавленной ценностью.
- Пример. Holdout-тест: конверсия в тестовой группе (видела рекламу) 3.2%, в контрольной (не видела) 2.9% — инкрементальный эффект небольшой относительно отчётного ROAS 4.5. План для обсуждения: сократить бюджет на сегменты с низкой инкрементальностью (давние посетители) на 30-40%, сохранить для сегмента «начатый чекаут», повторить тест через квартал.
- Компромисс. Сохранение текущего бюджета ретаргетинга «на всякий случай» защищает от риска недооценить реальный эффект (например, если holdout-тест был методологически несовершенен), но продолжает тратить бюджет на органические конверсии. Резкое и существенное сокращение бюджета высвобождает средства для более инкрементальных каналов, но рискует потерять часть реальной отдачи, если инкрементальность в некоторых сегментах выше, чем показал агрегированный тест. Правильный баланс зависит от размера теста, его статистической мощности и готовности бизнеса к повторному тестированию — это стоит явно обсуждать, а не решать в одну сторону.
Подводные камни
- Частая ошибка. Частая ошибка — либо полностью игнорировать результат holdout-теста и продолжать судить по ROAS кабинета, либо, наоборот, резко обнулять весь бюджет ретаргетинга по одному тесту без сегментации и повторной проверки на другом периоде.