Бизнес-команда внедрила изменение без A/B-теста (например, из-за юридических ограничений раскатать только половине пользователей), и просит оценить его эффект постфактум. Как подойти к причинному выводу без рандомизированного эксперимента?

Короткий ответ

Без рандомизации надёжного единственного решения нет; можно использовать квазиэкспериментальные методы — разность разностей (difference-in-differences) со сравнимой контрольной группой (например, другой рынок/регион, где изменения не было), или synthetic control, или regression discontinuity, если внедрение было пороговым (например, по дате или по сегменту) — каждый метод требует своих, часто непроверяемых допущений.

Как это работает подробнее

Как это работает: DiD сравнивает изменение метрики во времени в затронутой группе с изменением в похожей незатронутой группе, предполагая, что при отсутствии вмешательства тренды двигались бы параллельно (parallel trends assumption); synthetic control строит виртуальный контроль как взвешенную комбинацию нескольких непострадавших единиц, подбирая веса так, чтобы предынтервенционная история совпадала с целевой единицей.

Пример DiD в псевдо-SQL/Python: metric_change_treated = metric_after_treated - metric_before_treated; metric_change_control = metric_after_control - metric_before_control; effect_estimate = metric_change_treated - metric_change_control. Проверка допущения: построить график метрики treated vs control за 8-12 недель до вмешательства — линии должны двигаться примерно параллельно, иначе DiD-оценка ненадёжна.

Что использовать на практике

• На практике: перед использованием DiD нужно проверить параллельность трендов на исторических, пре-интервенционных данных; для synthetic control — качество подгонки на пре-периоде; в любом случае причинный вывод из наблюдательных данных слабее, чем из RCT, и должен сопровождаться явными оговорками о ненаблюдаемых смешивающих факторах.

Подводные камни

• Частые ошибки: представление результата DiD или synthetic control стейкхолдерам с той же уверенностью, что и результата честного A/B-теста, без указания допущений (параллельность трендов, отсутствие других одновременных изменений в контрольной группе), которые нельзя строго проверить, только частично обосновать.
• Компромисс: выбор метода зависит от доступности подходящей контрольной группы, качества исторических данных и требуемой строгости вывода: DiD проще и прозрачнее, но чувствителен к нарушению параллельности трендов; synthetic control точнее подбирает контроль, но сложнее и менее интерпретируем для нетехнической аудитории; в обоих случаях нужно явно сообщить, что оценка эффекта менее надёжна, чем была бы при рандомизированном тесте, и предложить, по возможности, провести ограниченный RCT в будущем для валидации.