Тест с огромной выборкой (2 млн пользователей на группу) показал статистически значимый рост конверсии на 0.02 п.п. (p<0.001). Стоит ли раскатывать изменение, и как объяснить разницу между статистической и практической значимостью?

Короткий ответ

При очень большой выборке даже крайне малый, экономически незначимый эффект может оказаться статистически значимым; решение о раскатке должно основываться на том, оправдывает ли величина эффекта (0.02 п.п.) стоимость поддержки изменения и возможные риски, а не только на факте значимости.

Как это работает подробнее

Как это работает: стандартная ошибка оценки эффекта уменьшается с ростом выборки, поэтому при достаточно большой n даже очень малая истинная разница рано или поздно становится статистически отличимой от нуля — значимость здесь говорит лишь о том, что эффект скорее всего не равен точно нулю, но не о его величине.

Пример расчёта практической значимости: при 2 млн пользователей в месяц рост конверсии на 0.02 п.п. при среднем чеке 1000 условных единиц даёт примерно 2 млн * 0.0002 * 1000 = 400 000 условных единиц дополнительной выручки в месяц — здесь уже видно, что даже небольшой процентный эффект может быть значим в абсолютных деньгах при большом масштабе, что и нужно явно показать бизнесу вместо одного p-value.

Что использовать на практике

• На практике: перед решением стоит перевести эффект в бизнес-величины: например, 0.02 п.п. конверсии при текущем трафике и среднем чеке даёт прирост выручки в X денежных единиц в месяц — и сравнить эту сумму со стоимостью разработки, поддержки и операционных рисков изменения.

Подводные камни

• Частые ошибки: автоматическая раскатка любого статистически значимого результата без оценки его практической величины — это может привести к накоплению технического долга и сложности продукта ради эффектов, которые бизнес не заметит.