Сообщить об ошибкеКороткий ответ
Контаминация происходит, когда один и тот же пользователь попадает в несколько вариантов теста (или в тест и в обычную кампанию одновременно) из-за пересечения аудиторий между разными кампаниями/каналами, что искажает чистоту сравнения.
Как это работает подробнее
Если пользователь видит и вариант A, и вариант B (например, через разные устройства, ретаргетинговые списки или пересекающиеся look-alike аудитории), его поведение может быть под влиянием обоих вариантов сразу, и отнести результат к одному конкретному варианту становится некорректно. Контаминация может возникать и между разными рекламными площадками — один и тот же пользователь видит тестовый лендинг и через Google, и через Meta одновременно.
Пример. Тест лендинга идёт через платный трафик (сплит 50/50) Одновременно отдел CRM отправляет рассылку по базе с ссылкой на новый лендинг -> часть трафика на вариант B приходит не из тестируемого платного канала, искажая сравнение Решение: либо исключить пересекающуюся аудиторию из рассылки на время теста, либо анализировать результаты теста отдельно по источнику трафика.
Что использовать на практике
- Практика. Стоит проверять исключения аудиторий между сегментами теста (например, исключать аудиторию теста лендинга из параллельных ретаргетинговых кампаний) и там, где возможно, использовать нативные инструменты экспериментов платформы, которые технически предотвращают пересечение. Если полностью исключить пересечение невозможно, стоит хотя бы оценить его масштаб (например, через отчёт о пересечении аудиторий) и учитывать как источник шума при интерпретации результата.
Подводные камни
- Частые ошибки. Ошибка — одновременно тестировать новый лендинг через рекламную кампанию и запускать на ту же аудиторию email-рассылку с той же акцией, не учитывая, что часть конверсий на лендинге может быть вызвана письмом, а не самим лендингом. Ошибка — запускать несколько тестов на одной и той же базе ретаргетинга в одно и то же время без координации между командами, отвечающими за разные кампании.