Сообщить об ошибкеКороткий ответ
А/А-тест — это сравнение двух идентичных вариантов друг с другом; его проводят, чтобы проверить корректность настройки сплита, трекинга и методологии расчёта значимости до того, как начинать тестировать реальные изменения.
Как это работает подробнее
Если инструменты и методология настроены правильно, А/А-тест в подавляющем большинстве случаев не должен показывать статистически значимой разницы между идентичными вариантами; если разница регулярно находится — это сигнал о проблеме в трекинге, сплите или расчётах. А/А-тест также помогает оценить реальную базовую вариативность метрики в конкретных условиях трафика, что полезно при расчёте размера выборки для будущих А/B-тестов.
Пример. А/А-тест двух идентичных версий лендинга: Вариант A: CVR 3.2% (n=4000) Вариант A': CVR 3.9% (n=4000), p=0.03 Значимая разница между идентичными версиями указывает на проблему (например, неравномерный сплит трафика или ошибку в разметке событий), которую нужно найти перед запуском реальных тестов.
Что использовать на практике
- Практика. А/А-тест особенно полезен при внедрении новой платформы тестирования, нового трекинга конверсий или при сомнениях в корректности случайного распределения трафика. После успешного внедрения новой платформы достаточно провести А/А-тест один раз для валидации, а не повторять его перед каждым последующим реальным тестом. Если трафика достаточно, А/А-тест можно проводить параллельно с первым реальным А/B-тестом на отдельном небольшом сегменте аудитории, не блокируя старт содержательного тестирования.
Подводные камни
- Частые ошибки. Ошибка — пропускать А/А-проверку при запуске нового инструмента тестирования и затем долго не понимать, почему обычные A/B-тесты дают противоречивые или нестабильные результаты. Ошибка — игнорировать повторяющуюся значимую разницу в А/А-тестах как «случайность», хотя регулярное повторение такого результата явно указывает на системную проблему в методологии.