Сообщить об ошибкеКороткий ответ
Парадокс Симпсона — ситуация, когда тренд, наблюдаемый в объединённых данных, исчезает или разворачивается в противоположную сторону при разбиении данных на подгруппы; обычно вызван скрытой переменной, неравномерно распределённой между группами.
Как это работает подробнее
если две сравниваемые группы имеют разный состав по важной скрытой переменной (например, разное распределение по платформам, регионам, давности пользователей), а эта переменная сама сильно влияет на метрику, агрегированное сравнение может вводить в заблуждение.
Пример кода
Пример на Python
# Проверка: пересчитать конверсию раздельно по платформам и сравнить знак эффекта
# с агрегированным результатом — если знак противоположен хотя бы в одном крупном сегменте,
# агрегированный вывод о победе B может быть артефактом разного состава трафика.Что использовать на практике
- На практике. чтобы выявить парадокс, полезно всегда проверять ключевые метрики не только в целом, но и в разрезе по важным сегментам (платформа, страна, канал привлечения, тип устройства); если знак эффекта отличается между сегментами и в агрегате, это сигнал парадокса Симпсона. Особенно важно проверять это в A/B-тестах, где доли сегментов в тестовой и контрольной группах могли случайно или системно разойтись. Полезно также визуализировать данные через диаграмму, показывающую одновременно агрегированный тренд и тренды по подгруппам — это часто сразу делает парадокс заметным визуально, без дополнительных расчётов.
- Пример. Sanity check: пересчитать общую конверсию B с весами платформ, равными весам в группе A (стандартизация) — если после этого B перестаёт выигрывать, парадокс подтверждён.
Подводные камни
- Частые ошибки. делать вывод по агрегированной метрике, не проверив устойчивость результата в разрезе ключевых сегментов; "чинить" парадокс простым взвешиванием без понимания, какая переменная является истинной причиной расхождения; путать парадокс Симпсона с обычным шумом — для подтверждения нужно явно показать разный знак эффекта в подгруппах, а не просто разную величину. Ещё одна ошибка — заметив парадокс в одном срезе, не проверить, не скрывается ли аналогичная проблема ещё глубже — например, внутри уже выделенного сегмента может быть ещё один значимый скрытый фактор.