Что такое randomization unit (единица рандомизации) и почему важно выбрать её правильно — например, user vs session?

Короткий ответ

Единица рандомизации — это сущность, которую случайно распределяют по группам: пользователь, сессия, устройство или запрос. Выбор единицы должен соответствовать единице, на которую измеряется эффект, иначе один и тот же пользователь может попадать то в A, то в B, что искажает результат.

Как это работает подробнее

если рандомизация идёт по сессии, а метрика — это недельная активность пользователя, один человек в течение недели может видеть и A, и B, и эффект от изменения «размазывается» между группами.

Пример проблемы: тест меняет оформление каталога, рандомизация идёт по session_id. Один и тот же пользователь за неделю заходит 5 раз и видит смесь A и B — посчитать «его» итоговую конверсию по группе корректно невозможно. Решение — перейти на рандомизацию по user_id с фиксацией группы на весь срок теста.

Что использовать на практике

• для большинства продуктовых метрик (конверсия, удержание, LTV) рандомизацию делают на уровне пользователя с устойчивым назначением (одинаковый user_id — всегда одна группа); для метрик, специфичных к отдельному заходу, иногда допустима рандомизация по сессии.

Подводные камни

• рандомизация по user_id, когда один человек использует несколько аккаунтов или устройств без единого идентификатора, — тогда часть «пользователей» на самом деле дублируется между группами.