Почему атрибуционная модель, никогда не проверенная на инкрементальность, — это риск, и как можно её проверить с помощью holdout-теста?

Короткий ответ

Разница в общих бизнес-результатах между сопоставимыми тестовой и контрольной группами оценивает инкрементальный эффект; атрибуционная доля такого ответа не даёт.

Как это работает подробнее

Holdout-тест или geo-эксперимент временно отключает или ограничивает канал для части аудитории или регионов и сравнивает итоговые конверсии с контрольной группой, где канал работает как обычно; разница в конверсиях между группами и есть оценка реального инкрементального эффекта канала, в отличие от его доли в атрибуционной модели. Помимо geo-holdout, крупные платформы иногда предлагают собственные инструменты измерения инкрементальности, которые делят аудиторию на уровне пользователей внутри одной платформы, не требуя географического разделения рынка.

Что использовать на практике

• Проверяйте крупные или сомнительные каналы, например брендовый поиск и ретаргетинг; заранее задайте сопоставимость групп, срок, метрику и допустимые потери.

Подводные камни

• Высокая доля конверсий по модели не доказывает причинный вклад; результаты теста нельзя автоматически переносить на другой канал или регион.