Атрибуция рекламного кабинета, MMM и инкрементальный тест дают разные (противоречивые) оценки вклада одного канала в продажи. Как принять решение по перераспределению бюджета в этой ситуации?

Короткий ответ

Единственно верного решения нет: каждый метод измеряет немного разное, и решение должно учитывать методологическую надёжность каждого источника для конкретной ситуации, а не механически выбирать «среднее» или самый выгодный результат.

Как это работает подробнее

Атрибуция кабинета склонна переоценивать каналы с высокой частотой касания в конце пути, MMM даёт агрегированную оценку на исторических данных, но чувствителен к корреляции между каналами и внешними факторами, а инкрементальный тест даёт наиболее причинно обоснованную оценку, но только для конкретных условий теста и может не обобщаться на другие условия.

Что использовать на практике

• Практика. Практически стоит отдавать приоритет инкрементальному тесту как наиболее причинно надёжному источнику там, где он проведён корректно, использовать MMM для каналов, которые нельзя протестировать напрямую, и относиться к атрибуции кабинета как к оперативному, но методологически смещённому сигналу для дневной оптимизации.
• Пример. Атрибуция кабинета: ROAS ретаргетинга 5.5; MMM: вклад канала в продажи близок к нулю (сильная корреляция с уже имеющимся спросом); инкрементальный тест: небольшой, но положительный эффект, эквивалентный ROAS ~1.8. План для обсуждения: сократить бюджет канала пропорционально оценке теста, но не до нуля, и запланировать повторный тест через квартал для проверки устойчивости вывода.
• Компромисс. Можно резко перераспределить бюджет в сторону результата инкрементального теста — это методологически обоснованно, но рискует быть избыточной реакцией на один тест с ограниченными условиями; можно действовать постепенно, отталкиваясь от среднего между методами и повторными тестами — это безопаснее, но медленнее устраняет возможную неэффективность. Выбор зависит от размера канала в общем бюджете, стоимости ошибки в обе стороны и возможности быстро повторить тест.

Подводные камни

• Риск. Частая ошибка — выбирать тот метод, который подтверждает уже принятое решение, вместо того, чтобы явно признать неопределённость и спланировать дальнейшую проверку.