Повторный A/B-тест тех же двух креативов через месяц дал противоположный результат — какие причины нужно рассмотреть?

Короткий ответ

Каждый эксперимент оценивает эффект с погрешностью; пограничная значимость и короткий тест делают результат нестабильным. Интерес к новому креативу может быстро ослабнуть.

Как это работает подробнее

Любой A/B-тест даёт оценку эффекта с некоторой погрешностью; если объём данных был на грани значимости, повторный тест с тем же объёмом может случайно показать иной «победитель» просто из-за статистического шума, а не из-за реального изменения. Novelty effect — временный всплеск интереса к новому креативу просто за счёт его новизны — обычно угасает за 1–2 недели, поэтому слишком короткий первый тест может показать завышенный эффект, который не подтвердится позже.

Что использовать на практике

• Сверьте даты, сегмент, акции, плейсменты и объём конверсий; ведите журнал тестов и повторяйте сравнение при сопоставимых условиях и достаточной выборке.

Подводные камни

• Не трактуйте единичный результат как неизменную истину и не смешивайте тесты, проведённые в разных рыночных условиях.