📊 Статистика и теория вероятностей

Короткий ответ Деление на (n−1) — это поправка Бесселя, которая компенсирует то, что выборочное среднее само посчитано по этим же данным и немного «притягивает» отклонения, из-за чего дисперсия, посчитанная с делением на n, в среднем занижает истинную дисперсию генеральной совокупности. Как это работает подробнее когда мы считаем отклонения от выборочного среднего (а не от истинного среднего совокупности, которое обычно неизвестно), сумма квадратов отклонений оказывается немного меньше, чем была бы от истинного среднего; деление на (n−1) вместо n даёт несмещённую оценку дисперсии совокупности. Поправка Бесселя — пример общего принципа в статистике: оценки, построенные по самим данным, требуют корректировки для несмещённости. Пример кода Что использовать на практике На практике: большинство статистических библиотек по умолчанию используют (n−1) — например, pandas.Series.std() и numpy.std(ddof=1), тогда как numpy.std() по умолчанию делит на n (ddof=0), что может привести к расхождению результатов между pandas и

Читать полностьюbessel-correction

Короткий ответ Чем больше выборка, тем точнее оценка параметра совокупности (уже доверительный интервал) и тем выше способность теста обнаружить реальный, но небольшой эффект; на маленькой выборке даже большие на вид различия могут объясняться случайным шумом. Как это работает подробнее стандартная ошибка среднего уменьшается пропорционально корню из размера выборки, поэтому для вдвое более узкого доверительного интервала нужно примерно в четыре раза больше данных — отдача от увеличения выборки замедляется. Пример кода Что использовать на практике На практике. перед тем как доверять выводу «метрика выросла на 2%», стоит оценить, какой размер выборки стоит за этим расчётом и насколько широк был бы доверительный интервал. Небольшие группы (новый сегмент пользователей, тестовая группа в маленьком регионе) требуют особой осторожности в интерпретации даже заметных на вид различий. На практике полезно заранее, до сбора данных, прикинуть ожидаемую ширину доверительного интервала при планируемом размере выборки, чтоб

Читать полностьюconfidence-interval

Короткий ответ Статистическая значимость говорит, что наблюдаемое различие вряд ли объясняется случайностью; практическая значимость — о том, достаточно ли велик этот эффект, чтобы иметь реальную ценность для бизнеса. При очень больших выборках даже ничтожный по величине эффект может оказаться статистически значимым. Как это работает подробнее p-value зависит и от размера эффекта, и от размера выборки — при миллионах наблюдений даже разница конверсии в 0.01 п.п. может дать p < 0.05, но такая разница может не окупить затраты на внедрение изменения. Пример кода Что использовать на практике На практике. вместе с p-value стоит всегда смотреть на размер эффекта и его доверительный интервал, а также сопоставлять его с заранее определённым порогом практической значимости (MDE), который отражает, какой эффект вообще имеет смысл для бизнеса — с учётом стоимости разработки, поддержки и рисков. Решение о раскатке фичи должно опираться на оба аспекта, а не только на «p < 0.05». Полезно заранее в плане эксперимента зафикс

Читать полностьюconfidence-interval

Короткий ответ .describe() (pandas, актуально для версий 1.x и 2.x) выводит count, mean, std, min, 25%/50%/75% перцентили и max для числовых колонок — это быстрый способ оценить масштаб, центр и разброс данных. Как это работает подробнее метод агрегирует каждую числовую колонку независимо; count показывает число непустых значений (не общее число строк), что уже само по себе диагностика пропусков. Метод особенно полезен на этапе первичного знакомства с новым набором данных перед более глубоким анализом. Пример кода Что использовать на практике На практике: сравнение mean и 50% (медианы) сразу подсказывает наличие скоса; большая разница между 75% и max часто указывает на выбросы. Для категориальных колонок нужно явно передать include='object' или include='all', иначе они не попадут в вывод. Полезно сразу смотреть count по всем колонкам, чтобы заметить колонки с пропусками. Дополнительно полезно смотреть на .describe() в разрезе сегментов (df.groupby('segment').describe()), чтобы сразу увидеть различия в масштаб

Читать полностьюdescribe

Короткий ответ Дисперсия — средний квадрат отклонений от среднего, показывает разброс данных в «квадратных» единицах; стандартное отклонение — корень из дисперсии, выражено в тех же единицах, что и исходные данные, поэтому интерпретируется проще. Как это работает подробнее дисперсия σ² = среднее от (x − mean)²; стандартное отклонение σ = √σ². Квадрат нужен, чтобы отклонения не «гасили» друг друга из-за разных знаков. На практике стандартное отклонение также лежит в основе построения доверительных интервалов и расчёта стандартной ошибки среднего. Пример кода Что использовать на практике На практике: стандартное отклонение удобно для сравнения разброса метрик в одних единицах (рубли, секунды), а также для построения интервалов вроде «среднее ± 1 SD». Дисперсию чаще используют внутри формул (например, в ANOVA или при расчёте доверительных интервалов), а не для прямой интерпретации бизнесу. Большое SD при одинаковом среднем говорит о нестабильности процесса — например, о непредсказуемом времени доставки. На практ

Читать полностьюdispersion

Короткий ответ Асимметрия показывает, в какую сторону «вытянут хвост» распределения: положительная асимметрия — длинный хвост справа (среднее больше медианы), отрицательная — длинный хвост слева (среднее меньше медианы), ноль — распределение симметрично. Как это работает подробнее числовое значение skewness рассчитывается через третий момент распределения (кубы отклонений от среднего); знак показывает направление хвоста, величина — насколько он выражен. Понимание направления хвоста помогает заранее предположить, в какую сторону среднее будет отличаться от медианы. Пример кода Что использовать на практике На практике: большинство бизнес-метрик с нижней границей в нуле (доход, время на сайте, размер чека) имеют положительную асимметрию: много обычных значений и немного очень крупных. Это напрямую влияет на выбор метрики (медиана вместо среднего) и на выбор статистических тестов, многие из которых предполагают симметричность данных. На практике асимметрию полезно считать совместно с эксцессом (kurtosis), который

Читать полностьюdescriptive-statistics

Короткий ответ Бутстрэп — метод оценки неопределённости статистики (среднего, медианы, разницы) путём многократной повторной выборки с возвращением из имеющихся данных; полезен, когда распределение метрики сложное, сильно скошено, или нет готовой аналитической формулы для доверительного интервала. Как это работает подробнее из исходной выборки многократно (обычно тысячи раз) формируются новые выборки того же размера со случайным повторением элементов, для каждой считается интересующая статистика, а разброс этих значений даёт эмпирическую оценку доверительного интервала. Пример кода Что использовать на практике На практике. бутстрэп особенно полезен для метрик вроде медианы, процентилей, отношения метрик (ARPU = выручка/пользователи), для которых аналитические формулы доверительных интервалов сложны или требуют сильных допущений о распределении. Для метрик с крайне малым числом ненулевых наблюдений или экстремальными выбросами бутстрэп может недооценивать хвосты, если в исходной выборке таких наблюдений очень

Читать полностьюbootstrap

Короткий ответ Доверительный интервал (например, 95%) — это диапазон значений, который при многократном повторении процедуры сбора выборки и расчёта интервала накрывает истинное значение показателя примерно в 95% случаев; это не «вероятность того, что истина лежит внутри конкретного интервала». Как это работает подробнее интервал строится вокруг точечной оценки (например, среднего) с учётом стандартной ошибки и выбранного уровня доверия; шире выборка — уже интервал при прочих равных. Чем выше выбранный уровень доверия (например, 99% вместо 95%), тем шире получается интервал при тех же данных. Пример кода Что использовать на практике На практике: доверительный интервал даёт представление о неопределённости оценки, а не только о самом числе — например, конверсия 3.2% с интервалом [2.0%; 4.4%] выглядит гораздо менее надёжной, чем та же конверсия с интервалом [3.0%; 3.4%]. Широкий интервал — сигнал, что выборки мало для уверенных выводов. На практике также полезно явно указывать используемый уровень доверия (90%,

Читать полностьюconfidence-interval

Короткий ответ Нормальное распределение — симметричное колоколообразное распределение вокруг среднего; правило трёх сигм говорит, что около 68% значений лежат в пределах ±1 стандартного отклонения, 95% — в пределах ±2 SD и 99.7% — в пределах ±3 SD от среднего. Как это работает подробнее форма и ширина нормального распределения полностью задаются двумя параметрами — средним и стандартным отклонением; правило трёх сигм — следствие формы этой конкретной кривой. Параметр «среднее» задаёт положение центра кривой, а «стандартное отклонение» — её ширину и «остроту» пика. Пример кода Что использовать на практике На практике: правило используют для быстрой оценки «нормальности» значения (например, подозрительно большая транзакция) и для построения грубых доверительных интервалов. Важно: правило работает только если данные действительно близки к нормальному распределению — для скошенных метрик (доходы, время сессии) доли могут сильно отличаться. Для бизнес-метрик часто полезнее сначала построить гистограмму и формально

Читать полностьюnormal-distribution