📊 Статистика и теория вероятностей

Короткий ответ Процентное изменение считается как (текущий период − предыдущий период) / предыдущий период × 100%; важно сравнивать сопоставимые по длине и составу периоды, учитывая выходные, праздники и неполные текущие периоды. Как это работает подробнее формула простая, но корректность зависит от того, что именно сравнивается — календарный месяц к календарному месяцу, или скользящее окно в 30 дней; при неполном текущем периоде (например, 5 дней октября против полного сентября) сравнение будет некорректным без нормализации. Такой подход особенно важен для метрик, сильно зависящих от календаря, например количества визитов на сайт интернет-магазина. Пример кода Что использовать на практике На практике: для метрик с недельной сезонностью (заказы в будни vs выходные) лучше сравнивать WoW «тот же день к тому же дню» или использовать скользящие недельные суммы, а не сырые дневные значения. Для MoM стоит учитывать разное количество дней и рабочих дней в месяцах. Полезно также визуализировать ряд целиком, а не толь

Читать полностьюmom

Короткий ответ Приоритизацию стоит строить на сочетании ожидаемого влияния задачи на ключевые бизнес-метрики, срочности и необратимости связанного решения, и стоимости выполнения анализа; единого универсального алгоритма нет — это управленческое решение, требующее явных и прозрачных критериев, согласованных со стейкхолдерами. Как это работает подробнее не все аналитические запросы одинаково ценны — анализ, способный предотвратить дорогое неверное решение (например, оценка эксперимента перед полным раскатом фичи для миллионов пользователей), обычно важнее разового любопытствующего отчёта, даже если второй запросили раньше. Sanity check: раз в квартал сверять фактически потраченное время команды с распределением по этой матрице — если большая часть времени уходит на приоритет 3-4, стоит пересмотреть процесс приёма задач. Пример кода Что использовать на практике Полезный фреймворк — оценивать задачи по трём осям: потенциальное влияние на бизнес (сколько денег/риска затрагивает решение, которое опирается на этот

Читать полностьюanalytics-management

Короткий ответ Быстрая визуальная проверка — построить гистограмму (ожидаем симметричный колокол) и QQ-plot (точки должны ложиться примерно на прямую линию); сильные отклонения на QQ-plot по краям говорят о тяжёлых хвостах или скошенности. Как это работает подробнее гистограмма показывает форму распределения напрямую; QQ-plot (quantile-quantile plot) сравнивает квантили ваших данных с квантилями теоретического нормального распределения — если данные нормальны, точки ложатся на диагональную линию. Такая визуальная проверка часто выполняется как обязательный шаг перед применением методов, чувствительных к форме распределения. Пример кода Что использовать на практике На практике. визуальная проверка хороша как быстрый первый шаг перед выбором метода (например, перед выбором t-test или непараметрического аналога), особенно для небольших выборок, где формальные тесты на нормальность (Шапиро-Уилка и подобные) ненадёжны. Для больших выборок, наоборот, формальные тесты становятся сверхчувствительны и отвергают нормал

Читать полностьюdata-visualization

Короткий ответ Нужно проверить устойчивость корреляции на разных срезах данных (времени, сегментах), поискать правдоподобный скрытый фактор, объясняющий связь, исключить влияние тренда/сезонности на временных рядах, и по возможности протестировать гипотезу экспериментально, а не полагаться только на один коэффициент корреляции. Как это работает подробнее при большом числе переменных или временных рядов с общим трендом высокая корреляция может возникать чисто случайно или из-за общей временной динамики (обе метрики растут со временем независимо друг от друга) — это называется ложной корреляцией. Sanity check: резкое падение корреляции при переходе от уровней к разностям — явный признак того, что исходная связь объяснялась общим трендом, а не реальной зависимостью одной метрики от другой. Пример кода Что использовать на практике Полезные проверки: разбить период на несколько частей и убедиться, что корреляция стабильна в каждой из них, а не вызвана одним периодом Для временных рядов — проверить корреляцию после

Читать полностьюconfounding

Короткий ответ Нужно провести анализ максимально объективно, честно представить результат независимо от того, подтверждает он решение или нет, и явно обозначить, если данные решение не подтверждают или неопределённость слишком велика для выводов — роль аналитика в том, чтобы предоставить точную информацию, а не задним числом обосновать уже сделанный выбор. Как это работает подробнее давление "подтвердить" решение создаёт риск неосознанного смещения в сторону подбора метрик, периодов или методов, которые дают желаемый результат (аналог HARKing/p-hacking) — важно явно зафиксировать методологию анализа до того, как смотреть на результат, чтобы снизить этот риск даже при давлении сроков. Sanity check: перед отправкой отчёта перепроверить, был ли выбор метрики/периода анализа зафиксирован заранее или выбран постфактум под удобный результат — если постфактум, стоит явно отметить это ограничение в выводах. Пример кода Что использовать на практике Полезно прямо в начале разговора уточнить у руководителя: решение уже

Читать полностьюanalytical-ethics

Короткий ответ North Star Metric должна отражать долгосрочную ценность, которую продукт создаёт для пользователя и бизнеса одновременно, а guardrail-метрики — защищать от деградации важных смежных показателей (выручка, качество, нагрузка на поддержку) при оптимизации North Star; единственно верного набора метрик обычно не существует — выбор зависит от стадии продукта и стратегии. Как это работает подробнее North Star Metric работает как компас для приоритизации — команды оптимизируют решения под её рост, поэтому она должна быть достаточно близка к точке, где измеряется реальная польза для пользователя (не просто активность), и достаточно чувствительна к продуктовым изменениям, чтобы быть измеримой на разумном горизонте. Sanity check: проверить историческую корреляцию North Star Metric с retention и выручкой на уровне когорт — если связь слабая, метрика выбрана неудачно и не отражает реальную ценность продукта. Пример кода Что использовать на практике Для построения системы метрик обычно используют иерархию: N

Читать полностьюguardrail-metrics

Короткий ответ При малой выборке или редких событиях можно использовать последовательный анализ (sequential testing) с контролем ошибки первого рода при промежуточных проверках, байесовский подход с явным априорным распределением, точные тесты вместо нормальных аппроксимаций, либо расширить единицу наблюдения или горизонт сбора данных — ни один подход не даёт гарантий, сопоставимых с тестом на большой выборке, и выбор требует явного обсуждения компромиссов. Как это работает подробнее классические тесты с фиксированным размером выборки и нормальной аппроксимацией плохо работают при малом числе наблюдений или низкой базовой частоте события — доверительные интервалы становятся очень широкими, а мощность обнаружить реальный эффект низкой. Последовательный анализ позволяет легитимно проверять данные по мере поступления, явно контролируя накопленную ошибку первого рода через специальные границы остановки (например, O'Brien-Fleming), в отличие от наивного peeking. Байесовский подход напрямую работает с распределение

Читать полностьюbayesian-statistics

Короткий ответ Для корректного YoY-сравнения нужно сопоставлять эквивалентные по сезонности периоды (например, тот же календарный месяц или ту же неделю относительно праздников), а не просто одинаковые по номеру даты периоды, так как расположение праздников и рабочих дней может сдвигаться между годами. Как это работает подробнее сезонные паттерны (праздники, распродажи, начало учебного года) влияют на метрики систематически и предсказуемо; если не учитывать это, рост или падение метрики легко спутать с реальным трендом, хотя оно объясняется календарным сдвигом. Пример кода Что использовать на практике На практике. подходы к учёту сезонности включают сравнение «тот же месяц прошлого года» вместо скользящего окна, декомпозицию ряда на тренд/сезонность/остаток (например, STL-декомпозиция) для выделения «чистого» тренда, и сравнение показателя с учётом выравнивания по дням недели, если важны будни/выходные. Для компаний с нерегулярными акциями (распродажи, которые не привязаны к фиксированной дате) сезонная компо

Читать полностьюindexing

Короткий ответ Boxplot показывает медиану, межквартильный размах (IQR = Q3−Q1) в виде «коробки» и усы, обычно до 1.5×IQR от краёв коробки; точки за пределами усов считаются потенциальными выбросами. Как это работает подробнее нижняя и верхняя границы коробки — первый (Q1) и третий (Q3) квартили, линия внутри — медиана. Усы по умолчанию тянутся до самого дальнего значения в пределах Q1−1.5×IQR и Q3+1.5×IQR, а точки за их пределами рисуются отдельно. Boxplot особенно удобен при сравнении сразу нескольких групп на одном графике, где гистограммы были бы труднее читаемы. Пример кода Что использовать на практике На практике: boxplot хорош для быстрого сравнения разброса и симметрии нескольких групп (например, время загрузки сайта по регионам). Коэффициент 1.5 — это условность, а не физический закон, и его можно менять. Выброс на графике не всегда ошибка данных — это сигнал посмотреть на эти наблюдения внимательнее, прежде чем удалять. Также полезно накладывать на boxplot отдельные точки (jitter plot), чтобы видеть

Читать полностьюboxplot