Сообщить об ошибкеКороткий ответ
Контрольная группа видит текущий (действующий) вариант, тестовая — новый вариант, который проверяется; обе группы формируются случайным образом из одной и той же аудитории, чтобы быть сопоставимыми.
Как это работает подробнее
Случайное распределение (сплит) обеспечивает, что группы не различаются систематически по составу аудитории, и единственная разница между ними — тестируемое изменение. Технически сплит чаще всего реализуется на уровне идентификатора пользователя (cookie, user ID или ID рекламного аккаунта платформы), что снижает риск повторного попадания одного человека в разные группы.
Пример. В Google Ads Experiments 50% показов идёт по старой структуре кампании (контроль), 50% — по новой (тест); обе группы запущены одновременно с одного бюджета.
Что использовать на практике
- Практика. Важно проверять, что деление на группы действительно случайное и не пересекается (один пользователь не должен попадать в обе группы), иначе результат будет искажён. Размер контрольной группы не обязательно должен быть равен тестовой — иногда в неё выделяют меньшую долю, если показатель контроля уже хорошо известен из истории. Если платформа не даёт встроенного инструмента сплита, можно использовать параметр URL или отдельный UTM-тег для случайного распределения, но тогда особенно важно вручную проверить равномерность распределения.
Подводные камни
- Частые ошибки. Частая ошибка — делать «контрольной группой» прошлые данные вместо параллельного сплита, либо делить аудиторию не случайно (например, по гео или времени показа). Ошибка — менять настройки контрольной группы «заодно», пока идёт тест, например оптимизировать её ставки, из-за чего сравнение перестаёт быть справедливым.