Сообщить об ошибкеКороткий ответ
Проблема — интерференция между единицами (network/spillover effects): на маркетплейсе пользователи в группах A и B конкурируют за один и тот же ограниченный пул товаров/продавцов, поэтому изменение в группе B может влиять на доступность или цены для группы A, нарушая предположение о независимости пользователей (SUTVA). Единого решения нет: применяют кластерную рандомизацию (по географии, по категории товаров) или switchback-дизайн (рандомизация по времени на весь рынок), каждый со своими издержками по мощности и интерпретации.
Как это работает подробнее
Как это работает: кластерная рандомизация распределяет по группам не отдельных пользователей, а целые кластеры (например, города или товарные категории), чтобы минимизировать пересечение спроса/предложения между группами; switchback-дизайн переключает весь рынок между вариантом A и B через случайные интервалы времени, оценивая эффект по временным, а не пользовательским срезам.
Пример switchback-дизайна: рынок переключается между A и B каждые 2 дня на протяжении 6 недель (21 период), метрика агрегируется на уровне периода, а не пользователя, и сравнивается как парный t-тест или смешанная модель с учётом дня недели как ковариаты. Проверка: нужно убедиться, что длина периода переключения больше типичного времени 'отклика' рынка на изменение, иначе возникнет carryover между соседними периодами.
Что использовать на практике
- На практике: при кластерной рандомизации эффективный размер выборки определяется числом независимых кластеров, а не числом пользователей, что требует существенно больше кластеров для той же мощности, если внутрикластерная корреляция метрики высока; switchback-дизайн чувствителен к переносу эффекта между периодами (carryover effect), если переключения происходят слишком часто.
Подводные камни
- Частые ошибки: игнорирование интерференции и использование обычной user-level рандомизации для рынков с ограниченным общим ресурсом (товары, водители, продавцы) — это может как замаскировать реальный эффект, так и создать иллюзию эффекта там, где есть просто переток спроса между группами.
- Компромисс: кластерная рандомизация снижает риск интерференции, но резко уменьшает эффективный размер выборки и может требовать месяцев для набора достаточного числа независимых кластеров; switchback-дизайн сохраняет больше мощности, но подвержен carryover-эффектам и плохо подходит для изменений с медленным эффектом (например, влияющих на доверие продавцов). Выбор зависит от скорости проявления эффекта, структуры рынка и приемлемого времени на тест — единственно верного решения нет, и часто нужна предварительная симуляция дизайна на исторических данных.