Сообщить об ошибкеКороткий ответ
Размер выборки определяет, насколько точно тест может отличить реальный эффект от случайного шума. При слишком малой выборке тест имеет низкую мощность: он может не обнаружить реально существующий эффект (ложноотрицательный результат) или дать очень широкий, неинформативный доверительный интервал.
Как это работает подробнее
дисперсия оценки конверсии уменьшается пропорционально росту числа наблюдений, поэтому с малой выборкой разброс оценки большой и даже заметная на глаз разница может не быть статистически значимой.
Пример: при базовой конверсии 5% и ожидаемом эффекте +0.5 п.п. для мощности 80% может требоваться около 30 000 пользователей на группу. Если тест остановили на 3 000 пользователей на группу и не увидели значимости, корректный вывод — «выборки недостаточно для вывода», а не «изменение не работает».
Что использовать на практике
- нужный размер выборки считают заранее, исходя из базовой конверсии, минимального эффекта, который важно обнаружить (MDE), и желаемой мощности теста — а не произвольно «неделю погоняем и посмотрим».
Подводные камни
- досрочная остановка теста из-за нетерпения с выводом «эффекта нет» при фактическом отсутствии статистической мощности для его обнаружения — это путает «эффекта нет» с «мы не смогли его обнаружить».