📊 Статистика и теория вероятностей

Короткий ответ Ошибка первого рода — отвергнуть верную нулевую гипотезу (ложное срабатывание, «увидели эффект, которого нет»); ошибка второго рода — не отвергнуть неверную нулевую гипотезу (пропуск реального эффекта, «не заметили эффект, который есть»). Как это работает подробнее вероятность ошибки первого рода контролируется выбранным уровнем значимости альфа; вероятность ошибки второго рода (бета) зависит от размера реального эффекта, размера выборки и изменчивости данных — мощность теста (1−бета) показывает способность теста обнаружить реальный эффект. Что использовать на практике На практике. эти две ошибки находятся в компромиссе: ужесточение альфа (снижение риска ложного срабатывания) при прочих равных увеличивает риск пропустить реальный эффект, если не увеличить размер выборки. В задачах, где цена ложного внедрения высока (рискованные изменения), разумно использовать более строгий альфа; там, где цена упущенной возможности высока, важнее следить за мощностью теста. На практике полезно явно обсуждать с

Читать полностьюhypothesis-testing

Короткий ответ Peeking — это многократная проверка p-value в ходе теста с остановкой эксперимента сразу, как только результат становится «значимым»; это резко завышает фактическую вероятность ложноположительного вывода по сравнению с заявленным уровнем альфа. Как это работает подробнее классический t-test или z-test рассчитан на одну проверку в конце фиксированного периода; при многократных промежуточных проверках накапливается вероятность хотя бы раз случайно увидеть p < 0.05 просто из-за флуктуаций, даже если реального эффекта нет. Пример кода Что использовать на практике На практике. избежать peeking можно несколькими способами: зафиксировать длительность и размер выборки заранее и смотреть на результат только один раз в конце; использовать методы, разработанные для последовательного анализа (sequential testing, группы с alpha spending, байесовские методы с учётом раннего прекращения), которые явно контролируют ошибку первого рода при множественных проверках. Важно заранее выбрать и задокументировать подхо

Читать полностьюab-testing

Короткий ответ Процентиль P показывает значение, ниже которого находится P% наблюдений; квартили — это 25-й, 50-й (медиана) и 75-й процентили, делящие упорядоченные данные на четыре равные по количеству части. Как это работает подробнее данные сортируются по возрастанию, затем для процентиля P берётся значение в соответствующей позиции ряда; при нецелой позиции используется интерполяция между соседними значениями (разные методы интерполяции могут давать чуть разные числа). В отчётах стоит явно указывать, какой процентиль используется (p90, p95, p99), так как разница в интерпретации между ними существенна. Пример кода Что использовать на практике На практике: процентили часто используют для метрик производительности — например, p95 времени ответа сервера показывает «почти худший» опыт, а не типичный, в отличие от среднего. Для бизнес-метрик (время обработки заявки) p90/p95 часто важнее среднего, так как отражают качество для «хвостовых» пользователей. Полезно дополнительно смотреть на разницу между соседними п

Читать полностьюdescriptive-statistics

Короткий ответ Смещение выборки возникает, когда способ отбора данных систематически предпочитает определённые объекты, из-за чего выборка перестаёт отражать всю совокупность — выводы по ней могут быть неверны даже при большом объёме данных. Как это работает подробнее проблема не в размере выборки, а в её составе — если какая-то подгруппа систематически недо- или перепредставлена, оценки (средние, доли) будут смещены независимо от того, сколько строк собрано. Смещение особенно опасно тем, что оно может оставаться незамеченным долгое время, если никто специально не проверяет состав выборки. Пример кода Что использовать на практике На практике: типичные источники смещения в продуктовой аналитике — опрос только активных пользователей (ушедшие недоступны), анализ только тех, кто прошёл регистрацию до конца (воронка уже отфильтровала «нетипичных»), сбор отзывов только от тех, кто сам написал. Перед выводами стоит спросить: кто мог не попасть в выборку и почему. Для оценки масштаба смещения полезно сравнить долю от

Читать полностьюdata-quality

Короткий ответ Смещение выжившего возникает, когда анализ строится только на «выживших» объектах (активных пользователях, успешных проектах), а исчезнувшие/отвалившиеся из выборки не учитываются — это приводит к завышенно оптимистичным выводам о факторах успеха. Как это работает подробнее если анализировать особенности только тех пользователей, кто остался активен спустя полгода, можно ошибочно заключить, что определённое поведение «приводит к удержанию», хотя на самом деле это поведение просто характерно для оставшихся, а не является его причиной — ушедшие с похожим поведением просто не попали в выборку. Пример кода Что использовать на практике На практике. классический пример — анализ «успешных» долгосрочных клиентов для поиска паттернов успеха без сравнения с ушедшими клиентами с похожими стартовыми характеристиками. Чтобы избежать смещения, нужно анализировать полную когорту с самого начала (включая тех, кто отвалился), а не только финальных «выживших», и явно сравнивать выживших с невыжившими. Для более

Читать полностьюcohort-analysis

Короткий ответ Средневзвешенное учитывает разный «вес» (значимость, объём) каждого значения при усреднении; его стоит использовать, когда группы, по которым усредняются показатели, имеют разный размер — иначе простое среднее по группам исказит общий результат. Как это работает подробнее средневзвешенное = сумма(значение × вес) / сумма(весов). Простое среднее — частный случай, где все веса равны. Такой расчёт особенно важен при объединении данных из разных источников с разным охватом и надёжностью. Пример кода Что использовать на практике На практике: классический пример — усреднение конверсии по нескольким каналам трафика: если просто усреднить конверсии каналов без учёта их объёма, маленький канал с аномальной конверсией исказит общий показатель. Средневзвешенное по объёму трафика (или количеству заказов) даёт корректную общую конверсию. На практике также полезно явно указывать используемые веса в отчёте, чтобы коллеги могли воспроизвести расчёт и понять, почему он отличается от простого среднего. Проверка:

Читать полностьюaggregation

Короткий ответ Альфа — это заранее выбранный порог допустимой вероятности ложно отвергнуть верную нулевую гипотезу (ошибка первого рода); альфа=0.05 означает, что мы готовы принять риск «увидеть различие там, где его на самом деле нет» примерно в 5% случаев при многократном повторении теста. Как это работает подробнее альфа задаётся до проведения теста и сравнивается с p-value после его завершения; если p-value < альфа, нулевую гипотезу отвергают. Выбор альфа — это, по сути, явное управленческое решение о приемлемом уровне риска ложного вывода, а не чисто техническая деталь. Пример кода Что использовать на практике На практике: 0.05 — широко распространённое соглашение, а не универсальный закон природы; в задачах с высокой ценой ложного срабатывания (медицина, финансовые риски) часто используют более строгий порог (0.01), а в разведочном анализе — иногда более мягкий. Выбор альфа должен быть обоснован ценой ошибки, а не выбран автоматически. На практике полезно заранее согласовать уровень альфа со стейкхолдер

Читать полностьюalpha

Короткий ответ Novelty effect — временный всплеск интереса или активности, вызванный самим фактом новизны изменения, а не его долгосрочной ценностью; эффект обычно затухает со временем, поэтому ранние результаты теста могут переоценивать реальный долгосрочный эффект. Как это работает подробнее пользователи реагируют на новое оформление или фичу из любопытства, кликая и исследуя её активнее, чем будут делать это через несколько недель, когда новизна пройдёт. Пример кода Что использовать на практике На практике. чтобы отличить реальный эффект от novelty, полезно смотреть динамику метрики по дням/неделям теста отдельно для новых и для «старых» (ранее видевших прошлую версию) пользователей; если эффект заметно угасает со временем именно у давних пользователей — это признак novelty effect. Для фич с риском такого эффекта разумно продлевать тест дольше обычного и анализировать отдельно когорты по времени первого попадания в группу. Также полезно сравнивать поведение в тестовой группе с историческими данными о похож

Читать полностьюab-testing

Короткий ответ SRM — это ситуация, когда фактическое соотношение пользователей между тестовыми группами существенно отличается от запланированного (например, 48/52 вместо 50/50 при большой выборке); обнаруживается хи-квадрат тестом на соответствие наблюдаемого распределения ожидаемому, и его наличие ставит под сомнение валидность всего эксперимента. Как это работает подробнее даже небольшое на первый взгляд отклонение от ожидаемого сплита может быть статистически значимым при больших объёмах данных — это сигнализирует о системной проблеме в рандомизации или логировании, а не о случайности. Пример кода Что использовать на практике На практике. SRM стоит проверять как первый шаг перед анализом результатов теста, до интерпретации любых метрик. Частые причины: различия в скорости загрузки/редиректах между вариантами, которые по-разному теряют пользователей до события логирования; баги в системе сплитования; фильтрация ботов, по-разному затрагивающая группы; различия в кэшировании. Если SRM обнаружен, результаты т

Читать полностьюab-testing