Команда данных предлагает перейти на новую модель атрибуции (data-driven) по всем каналам, аргументируя это тем, что она «точнее» last-click. Как проверить, действительно ли атрибуционная модель отражает инкрементальную ценность канала, а не просто иначе распределяет те же самые цифры?

Короткий ответ

Атрибуционная модель сама по себе не доказывает инкрементальность — нужно проверять её выводы независимыми методами измерения причинно-следственного эффекта, такими как geo-holdout эксперименты, incrementality-тесты с контрольной группой или PSA (public service ad) тесты, которые показывают, что произошло бы без показа рекламы, а не просто иначе взвешивают наблюдаемые корреляции кликов и конверсий.

Как это работает подробнее

Любая модель атрибуции (включая data-driven) по построению работает с наблюдаемыми корреляциями между касаниями и конверсиями среди пользователей, которые увидели рекламу; она не включает в явном виде группу пользователей, которые рекламу не видели вовсе, и поэтому не может напрямую измерить, сколько из этих конверсий произошло бы и без рекламы (базовый спрос).

Что использовать на практике

• Практика. Практический подход — периодически (например, раз в квартал или при запуске нового крупного канала) проводить контролируемые инкрементальность-тесты: отключать рекламу в части регионов/аудиторий (holdout) и сравнивать фактические продажи с ожидаемыми по модели, или использовать встроенные инкрементальность-тесты платформ, где они доступны, и сверять их результат с весами, которые показывает атрибуционная модель.

Подводные камни

• Риск ошибки. Частая ошибка — воспринимать переход на более сложную модель атрибуции (data-driven или даже MMM) как автоматическое повышение точности измерения инкрементальной ценности, не проверив её на реальном holdout-эксперименте; сложность модели не равна доказанной причинности. Компромисс: Полноценные инкрементальность-тесты стоят денег (временная потеря части потенциальных продаж в тестовой группе) и времени, и не каждую атрибуционную модель/канал экономически целесообразно проверять так часто; нужно выбирать, какие каналы и бюджеты достаточно крупны, чтобы оправдать стоимость теста, и какую периодичность проверки считать достаточной. Кандидат должен обсуждать, что отказ от регулярной валидации — это осознанный риск принятия решений на основе недоказанной модели, а не нейтральный выбор.