Сообщить об ошибкеКороткий ответ
Можно использовать квазиэкспериментальные методы (разность разностей, синтетический контроль, сравнение с похожей необработанной группой), если есть подходящая контрольная группа или период, либо явно строить прогноз "что было бы без изменения" на исторических данных и сравнивать с фактом — в любом случае нужно открыто обозначить, что это не строгий причинный вывод, а обоснованная оценка с допущениями.
Как это работает подробнее
при отсутствии рандомизации главная задача — найти правдоподобный аналог "контрфактического" сценария: что происходило бы, если бы решение не было принято. Это можно приблизить через сравнение с похожими сегментами/регионами, не затронутыми изменением, через прогнозную модель на исторических трендах, либо через поиск "естественного эксперимента" (решение было внедрено не везде и не одновременно).
Sanity check: проверить, что на предпериоде динамика метрики в "изменённом" и "контрольном" рынках была похожей (общий тренд) — иначе использовать такой рынок как контроль некорректно.
Пример кода
Решение: изменена политика возвратов для всех пользователей одновременно, без A/B-теста.
Подход: найти похожий по характеристикам рынок/регион, где политика не менялась
(если компания работает в нескольких странах), и применить разность разностей
между "изменённым" и "неизменённым" рынком за один и тот же период.Что использовать на практике
- Важно явно перечислить, какие альтернативные объяснения наблюдаемого изменения метрики могли сыграть роль (сезонность, параллельные изменения, внешние события) и постараться исключить или учесть наиболее правдоподобные из них. Если возможно, полезно задним числом поискать любую доступную вариацию во внедрении (разные даты по регионам, частичный раскат) и использовать её как квазиэкспериментальную основу вместо чистого "до/после" сравнения.
Подводные камни
- Делать вывод "метрика выросла после решения, значит решение сработало" без контроля альтернативных объяснений — классическая ошибка post hoc ergo propter hoc
- Представлять такую ретроспективную оценку стейкхолдерам как эквивалент результата A/B-теста без оговорок о её ограничениях
- Игнорировать возможность найти хотя бы частичную вариацию в данных для более обоснованной квазиэкспериментальной оценки.