Руководство хочет простое заявление, что маркетинговая кампания X вызвала рост выручки, основываясь на том, что у клиентов, видевших кампанию, выручка выше. У тебя есть только наблюдательные данные, и видевшие кампанию — это чаще уже активные клиенты (смещение выжившего/самоотбора). Как ты выстроишь коммуникацию причинного вывода и рисков?

Короткий ответ

Объясню руководству, что наблюдаемая разница скорее всего частично или полностью объясняется тем, что более активные и платящие клиенты чаще видят кампанию (а не кампания делает их активными), покажу это на данных через сравнение характеристик групп до кампании, и предложу способ получить надёжный причинный ответ (геоэксперимент, holdout-группа) вместо того, чтобы подтвердить желаемый, но непроверенный вывод.

Как это работает подробнее

если показ кампании не был рандомизирован, а зависел от поведения клиента (например, кампанию видят те, кто чаще заходит в приложение или уже совершал покупки), то сравнение «видел vs не видел» сравнивает не эффект кампании, а изначально разные по качеству группы клиентов — это классическое смещение самоотбора, похожее на смещение выжившего.

Пример кода

campaign_selection_bias.sqlКопировать

-- PostgreSQL: сравнение исторической (до кампании) выручки групп "видел/не видел кампанию"
SELECT seen_campaign,
       AVG(revenue_before_campaign) AS avg_revenue_before,
       COUNT(*) AS n_customers
FROM customers
GROUP BY seen_campaign;

Что использовать на практике

• Применение. проверяю характеристики обеих групп до начала кампании (историческая выручка, частота покупок за предыдущий период) — если группы уже различались до кампании, это прямое доказательство смещения. Для получения надёжного причинного вывода предлагаю holdout-группу (случайно исключённую из показа кампании) или geo-эксперимент (сравнение регионов с кампанией и без), если рандомизация на уровне пользователя технически невозможна.
• Проверка или пример. Результат может показать, например: видевшие кампанию уже имели в среднем выручку на 40% выше ДО её запуска — это прямой сигнал смещения самоотбора. Коммуникация руководству: «До кампании группы уже различались, поэтому текущее сравнение переоценивает эффект. Предлагаю запустить holdout-тест на 10% аудитории на следующий цикл кампании, чтобы получить надёжную оценку ROI».

Подводные камни

• Частая ошибка. предоставить руководству желаемый, но необоснованный причинный вывод под давлением срочности, что ведёт к неправильному решению о масштабировании кампании и неверной оценке ROI маркетинга; полностью отказаться оценивать эффект, ссылаясь на «нет эксперимента», вместо того чтобы дать осторожную оценку с явными оговорками и предложить способ получить лучший ответ в следующий раз.