Сообщить об ошибкеКороткий ответ
Нужно посмотреть на размер эффекта (lift), его доверительный интервал или p-value, а также на то, достигнут ли запланированный размер выборки — и только после этого делать вывод о значимости и о том, стоит ли раскатывать изменение.
Как это работает подробнее
таблица обычно содержит базовую метрику по группам, разницу (абсолютную и относительную), p-value или доверительный интервал, и иногда отдельно мощность или размер выборки — все эти колонки нужно читать вместе, а не по одной.
Таблица: | Группа | Users | CR | Разница | 95% ДИ | p-value | | A | 20 000 | 4.8% | - | - | - | | B | 20 050 | 5.1% | +0.3 п.п. | [-0.05; +0.65] | 0.09 | Вывод: эффект направлен в плюс, но p-value=0.09 > 0.05, а ДИ пересекает ноль — результат не достиг заявленной значимости, нужно либо продолжить тест, либо признать эффект неподтверждённым при текущих данных.
Что использовать на практике
- сначала проверяют, что выборка набрана полностью (иначе результат предварительный), затем смотрят на знак и величину эффекта, затем на статистическую значимость, и только потом — на практическую значимость для бизнеса.
Подводные камни
- вывод «эффект есть» только по знаку разницы без проверки значимости, или наоборот — вывод «эффекта нет» при незначимом результате вместо правильного «эффект не обнаружен при текущей выборке».