Приведите пример парадокса Симпсона в конверсии по сегментам и объясните, как его избежать в выводах?

Короткий ответ

Парадокс Симпсона возникает, когда общая (агрегированная) конверсия растёт, хотя в каждом отдельном сегменте она падает — это происходит из-за изменения структуры (микса) сегментов в общем трафике; избежать ошибочного вывода можно, всегда проверяя метрику в разрезе по сегментам, а не только в агрегате.

Как это работает подробнее

если доля сегмента с исходно более высокой конверсией выросла в общем трафике, агрегированная конверсия может вырасти даже при снижении конверсии в каждом сегменте по отдельности — это чисто математический эффект смешивания весов, а не реальное улучшение.

Пример кода

Парадокс СимпсонаКопировать

Канал A: было 1000 визитов, конверсия 10% (100 покупок) → стало 2000 визитов, конверсия 8% (160 покупок)
Канал B: было 2000 визитов, конверсия 4% (80 покупок)  → стало 1000 визитов, конверсия 3% (30 покупок)
Было:  общая конверсия = (100+80)/(1000+2000) = 6.0%
Стало: общая конверсия = (160+30)/(2000+1000) = 6.3%

Что использовать на практике

• Практика. при любом анализе изменения ключевой метрики стоит сразу смотреть на разбивку по основным сегментам (платформа, канал, гео, новые/старые пользователи) и проверять, не изменился ли их относительный вес в общем трафике за период.

Подводные камни

• Частые ошибки. делают вывод об "улучшении продукта" только по росту агрегированной метрики, не проверив её устойчивость на уровне сегментов; выбирают сегментацию задним числом, чтобы подогнать объяснение под уже сделанный вывод, а не для объективной проверки гипотезы.