Сообщить об ошибкеКороткий ответ
Чем больше выборка, тем точнее оценка параметра совокупности (уже доверительный интервал) и тем выше способность теста обнаружить реальный, но небольшой эффект; на маленькой выборке даже большие на вид различия могут объясняться случайным шумом.
Как это работает подробнее
стандартная ошибка среднего уменьшается пропорционально корню из размера выборки, поэтому для вдвое более узкого доверительного интервала нужно примерно в четыре раза больше данных — отдача от увеличения выборки замедляется.
Пример кода
Пример на Python
import numpy as np
np.random.seed(0)
small_sample = np.random.normal(100, 20, size=5)
large_sample = np.random.normal(100, 20, size=5000)
print(small_sample.mean(), large_sample.mean()) # оба близки к 100, но —
print(np.std(small_sample)/np.sqrt(5), np.std(large_sample)/np.sqrt(5000)) # стандартная ошибка сильно различаетсяЧто использовать на практике
- На практике. перед тем как доверять выводу «метрика выросла на 2%», стоит оценить, какой размер выборки стоит за этим расчётом и насколько широк был бы доверительный интервал. Небольшие группы (новый сегмент пользователей, тестовая группа в маленьком регионе) требуют особой осторожности в интерпретации даже заметных на вид различий. На практике полезно заранее, до сбора данных, прикинуть ожидаемую ширину доверительного интервала при планируемом размере выборки, чтобы понять, будет ли результат вообще достаточно точным для решения.
- Пример. Sanity check: стандартная ошибка среднего для small_sample будет на порядок больше, чем для large_sample, несмотря на одинаковое истинное среднее — именно поэтому выводы по малой выборке менее надёжны.
Подводные камни
- Частые ошибки. делать категоричные выводы по очень маленькой выборке (5-10 наблюдений) без оговорки о неопределённости; считать, что «раз выборка большая, можно не думать о её репрезентативности» — размер не заменяет качество отбора; игнорировать, что для редких событий (например, 1% конверсия) нужна существенно большая выборка, чем для частых. Ещё одна ошибка — считать, что увеличение выборки в два раза пропорционально вдвое увеличивает точность оценки, хотя точность растёт медленнее — пропорционально корню из размера выборки.