Короткий ответ CUPED — это метод снижения дисперсии метрики в тесте с помощью известных до начала эксперимента (пре-экспериментальных) данных о том же пользователе, что позволяет либо обнаруживать тот же эффект при меньшей выборке, либо получать более узкие доверительные интервалы при том же объёме данных. Как это работает подробнее Как это работает: метрика корректируется вычитанием части её вариации, которая объясняется ковариатой, измеренной до теста и коррелирующей с итоговой метрикой (например, активность пользователя за предыдущий месяц), с коэффициентом, минимизирующим дисперсию скорректированной метрики; среднее значение по группам при этом не меняется, меняется только дисперсия оценки. Упрощённая идея в псевдокоде: Ожидаемый результат: var(metric_cuped) < var(metric) при наличии корреляции между metric и pre_metric; sanity check — среднее по группам metric_cuped должно совпадать (с точностью до шума) со средним исходной metric, меняется только разброс. Пример кода Что использовать на практике На прак
Загрузка…
