Общая конверсия по всему сайту выросла, но при разбивке по каждому отдельному сегменту (например, по странам) конверсия в каждом сегменте снизилась. Как объяснить это расхождение и что ты скажешь бизнесу?

Короткий ответ

Это похоже на парадокс Симпсона — рост общей метрики при падении во всех подгруппах объясняется изменением структуры (весов) сегментов, например ростом доли сегмента с изначально более высокой конверсией, а не реальным улучшением.

Как это работает подробнее

общая метрика — это взвешенное среднее по сегментам; если доля сегмента с высокой базовой конверсией выросла, общая метрика может расти, даже если конверсия внутри каждого сегмента падает. Игнорирование структуры весов ведёт к ложному выводу об улучшении.

Пример кода

Пример SQLКопировать

SELECT country,
       date_trunc('month', order_date) AS month,
       count(*) AS sessions,
       avg(converted::int) AS conv_rate
FROM sessions
GROUP BY 1, 2
ORDER BY 1, 2;

Что использовать на практике

• Порядок действий. проверяю, изменилась ли доля трафика между сегментами за рассматриваемый период (mix shift); пересчитываю, какой была бы общая конверсия при неизменной структуре весов (фиксация весов на базовый период), чтобы отделить эффект структуры от эффекта внутри сегментов.

Подводные камни

• Частые ошибки. докладывать руководству только агрегированную цифру как «успех», не проверив разбивку по сегментам; пытаться объяснить рост одной причиной, не проверив гипотезу mix shift; игнорировать, что решения, принятые на основе агрегата, могут навредить, если внутри каждого сегмента метрика реально ухудшается.