Сообщить об ошибкеКороткий ответ
Это значит, что наблюдаемая разница между вариантами A и B могла возникнуть случайно и недостаточно надёжна, чтобы делать вывод о победе одного варианта — нужно больше данных или признать, что разницы может не быть.
Как это работает подробнее
Статистическая значимость оценивается через уровень доверия (обычно 95%) и размер выборки; при малом числе конверсий разброс результата велик, и тест не может надёжно отличить реальную разницу от случайности. Для грубой оценки можно использовать правило: чем меньше число конверсий в каждой группе, тем больше реальных недель или объёма трафика нужно для надёжного вывода.
Что использовать на практике
- Практика. На практике при «незначимом» результате не стоит объявлять победителя — либо продлевают тест, набирая больше данных, либо признают, что варианты примерно равны по эффективности. Многие платформы и инструменты
A/B-тестирования сами показывают уровень значимости или доверительный интервал — важно ориентироваться на эти встроенные расчёты, а не оценивать разницу «на глаз». - Пример. Вариант A: 1000 показов, 20 конверсий (2%); вариант B: 1000 показов, 25 конверсий (2.5%). Разница в пределах случайного шума при таком объёме — тест нужно продолжать, а не объявлять Б победителем.
Подводные камни
- Риск. Частая ошибка — досрочно останавливать тест, как только один вариант визуально опережает другой, игнорируя то, что разница статистически не подтверждена.