Сообщить об ошибкеКороткий ответ
Однозначного ответа без эксперимента нет: нужно проводить geo-эксперименты или holdout-тесты и сравнивать общий бизнес-результат между тестовой и контрольной группами, а не доверять отчётным конверсиям платформы как доказательству инкрементальности.
Как это работает подробнее
отчётные конверсии широких автоматизированных форматов основаны на внутренней атрибуции платформы, которая системно склонна приписывать себе заслугу за конверсии, которые произошли бы и без неё; чтобы отделить реальный инкрементальный эффект, нужен контролируемый эксперимент с рандомизацией там, где кросс-контаминация между группами минимальна — чаще всего это география, так как отдельных пользователей в широких кампаниях изолировать невозможно.
Что использовать на практике
- На практике. MMM может дополнять точечные geo-эксперименты для оценки инкрементальности на более длинном горизонте с учётом нескольких каналов, но требует значительного объёма исторических данных и не заменяет прямой эксперимент там, где есть возможность его провести; важно заранее определить достаточную длительность теста и число гео-регионов для статистической значимости.
- Компромисс. Строгий geo-эксперимент даёт наиболее надёжную оценку инкрементальности, но требует времени, временной потери части выручки в холдаут-регионах и организационной дисциплины; отказ от эксперимента и доверие платформенной атрибуции быстрее и дешевле операционно, но несёт риск систематически неверных решений по масштабированию бюджета. Выбор зависит от размера бюджета, поставленного на карту, и от готовности бизнеса пожертвовать краткосрочной выручкой ради достоверности измерения.
- Пример. Geo-holdout на 25% регионов без Performance Max в течение 6 недель показывает, что общая выручка в холдаут-регионах отстаёт от регионов с активной кампанией всего на 7%, хотя сама кампания в отчёте показывает долю в 30% от общих конверсий.
- Проверка. сравнение темпов роста суммарной выручки между холдаут- и тестовыми регионами за период эксперимента с учётом сопоставимости регионов по размеру и сезонности — разница в 7%, а не в 30%, является более честной оценкой реального инкрементального вклада.
Подводные камни
- Частая ошибка. включать/выключать кампанию в одном регионе и сравнивать периоды до/после без учёта сезонности, выдавая это за «эксперимент»; масштабировать кампанию только на основании роста отчётных платформенных конверсий без проверки влияния на суммарную выручку по всем каналам.