В A/B-тесте в целом метрика в группе B лучше, но при разбивке по платформам (iOS/Android) в обоих сегментах B хуже или равно A. Как такое возможно и что это за ситуация?

Короткий ответ

Это пример парадокса Симпсона: агрегированный результат может разворачиваться относительно сегментных из-за разной доли и базовой конверсии сегментов в группах — часто это признак нарушения баланса рандомизации (SRM на уровне сегмента) или смешения с ковариатой, которая по-разному распределена между группами.

Как это работает подробнее

Как это работает: если, например, в группе B доля пользователей с изначально высокой конверсией (скажем, iOS) случайно или систематически выше, чем в группе A, общая взвешенная конверсия B может оказаться выше даже при том, что внутри каждого сегмента B не лучше или хуже A.

Синтетический пример: A: iOS 1000 пользователей (CR 10%), Android 9000 (CR 2%) → общая CR_A=2.8%. B: iOS 9000 (CR 9%, то есть хуже чем в A), Android 1000 (CR 1%, хуже чем в A) → общая CR_B = (9000*0.09+1000*0.01)/10000=8.2%. Общая B выше A, хотя в каждом сегменте B хуже — из-за сильно разного состава сегментов между группами (явный признак проблемы с рандомизацией).

Что использовать на практике

• На практике: при обнаружении такого расхождения первым шагом проверяют баланс сегментов между группами (доля iOS/Android в A и B должна быть близкой); если баланс нарушен — это признак проблемы с рандомизацией, а не реального продуктового эффекта.

Подводные камни

• Частые ошибки: доклад руководству только агрегированного числа ('метрика выросла на 2%') без проверки по сегментам — риск принять решение на основе артефакта смешения, а не реального эффекта изменения.