Сообщить об ошибкеКороткий ответ
Geo-lift тест делит рынки (города/регионы) на тестовую и holdout группы, где в holdout-регионах реклама канала намеренно отключается или сильно ограничивается на период теста, а разница в бизнес-метрике между группами с поправкой на исторический baseline показывает инкрементальный вклад канала; единственно верной длительности и размера holdout не существует.
Как это работает подробнее
В отличие от обычного A/B-теста на уровне пользователя, geo-lift учитывает, что каналы (особенно верхнефанельные или брендовые) влияют на поведение не только непосредственно кликнувших, но и всего рынка, поэтому инкрементальность измеряется на уровне агрегированного гео-региона, а не отдельного клика. Метод synthetic control строит «виртуальный» контрольный регион как взвешенную комбинацию нескольких непострадавших регионов, что часто точнее простого среднего по holdout-группе.
Компромисс. Больший и более долгий holdout даёт более надёжную оценку инкрементальности, но означает ощутимую временную потерю выручки/лидов в holdout-регионах и организационное сопротивление со стороны команд, чей KPI зависит от объёма в этих регионах; баланс между статистической строгостью, стоимостью эксперимента и скоростью принятия решения зависит от размера бизнеса, доли канала в бюджете и критичности решения. Также стоит учитывать организационную цену эксперимента: holdout-регионы временно теряют конкурентное присутствие на рынке, что может дать локальным конкурентам возможность нарастить долю на этот период.
Пример. 10 сопоставимых по размеру рынков: 7 - тест (канал активен как обычно), 3 - holdout (канал отключён на 4 недели) Ожидаемая выручка holdout-регионов по synthetic control (baseline): 12.0 млн руб. Фактическая выручка holdout-регионов за период теста: 10.8 млн руб. Инкрементальный вклад канала ~ (12.0 - 10.8) / 10.8 ~ 11% прироста выручки к рынку
Что использовать на практике
- Практика. Регионы для теста и holdout подбирают так, чтобы они были максимально похожи по историческим показателям (размер рынка, сезонность, демография), и используют статистические методы (например, synthetic control) для построения ожидаемого baseline поведения holdout-региона без рекламы. Длительность такого теста обычно измеряется неделями или месяцами, а не днями, поскольку эффект на уровне рынка проявляется медленнее, чем в тесте на уровне отдельного пользователя.
Подводные камни
- Частые ошибки. Ошибка — делать holdout слишком маленьким по доле рынка или слишком коротким по времени, чтобы минимизировать потери выручки, и затем получать статистически недостоверный результат, на основе которого всё равно принимают решение о судьбе канала. Ошибка — выбирать для holdout регионы, которые уже отличаются от остальных по тренду до начала теста, что делает сравнение с ними некорректным независимо от объёма данных.