Сообщить об ошибкеКороткий ответ
A/A-тест — это эксперимент, где обеим группам показывают одинаковую (контрольную) версию продукта, чтобы проверить, что система сплитования, трекинга и статистического анализа работает корректно и не даёт ложных значимых результатов на пустом месте.
Как это работает подробнее
поскольку группы идентичны, ожидается, что доля значимых результатов при многократных A/A-тестах близка к заявленному alpha (например, около 5% при alpha=0.05), а распределение пользователей между группами близко к ожидаемому сплиту.
Пример: провели 20 независимых A/A-тестов на одной и той же платформе; если в 6 из них получили p<0.05 (30% вместо ожидаемых ~5%), это сигнал, что система сплитования или сбора данных работает некорректно — например, из-за дублирования событий или неравного трафика.
Что использовать на практике
- A/A-тесты проводят при запуске новой платформы экспериментов или при подозрении на проблему в трекинге, чтобы валидировать инфраструктуру перед тем, как доверять ей реальные продуктовые тесты.
Подводные камни
- пропуск A/A-валидации для новой системы сплитования и обнаружение системной проблемы (например, SRM или смещения метрики) только постфактум, когда уже накопилось много некорректных продуктовых тестов.