Сообщить об ошибкеКороткий ответ
Статистическая значимость показывает, насколько вероятно, что разница между вариантами теста — реальный эффект, а не случайное колебание данных на небольшой выборке.
Как это работает подробнее
Чем больше показов/конверсий накоплено и чем больше разница между вариантами, тем выше уверенность (обычно выражается уровнем значимости, например 95%), что результат не случаен. Уровень значимости выбирают заранее, исходя из того, насколько критично решение: для менее рискованных изменений иногда допустим порог 90%, для дорогих решений — 95-99%.
Пример. При 50 кликах на вариант и 2 конверсиях против 3 разница недостаточна для выводов; калькулятор значимости покажет низкую значимость — тест нужно продолжать.
Что использовать на практике
- Практика. Значимость в 95% означает, что при повторении теста в похожих условиях вывод «вариант B лучше» подтвердится с высокой вероятностью, но это не стопроцентная гарантия. Большинство рекламных платформ и инструментов тестирования уже встраивают расчёт значимости в отчёт, поэтому обычно не нужно считать его вручную по формуле.
Подводные камни
- Частые ошибки. Частая ошибка — путать «95% значимость» с «мы на 95% уверены, что B лучше на столько-то процентов»; значимость говорит о вероятности случайности, а не о величине эффекта. Ошибка — считать, что отсутствие статистической значимости равносильно доказательству того, что варианты одинаковы; на самом деле это может означать лишь недостаток данных. Ещё одна ошибка — сообщать стейкхолдерам только факт «тест значим» без указания величины эффекта, из-за чего решение о масштабировании принимается вслепую относительно реальной выгоды.