🧪 A/B-тесты

Короткий ответ Primary-метрика — единственная метрика, по которой принимается решение об успехе теста и которая заранее определяет размер выборки. Secondary-метрики помогают понять механизм эффекта, но не являются критерием решения сами по себе. Guardrail-метрики — это метрики, которые должны остаться не хуже определённого порога, чтобы не допустить скрытого вреда продукту при победе по основной метрике. Как это работает подробнее Как это работает: разделение метрик на категории заранее защищает от множественных сравнений (не нужно делать поправку по всем метрикам, если только одна — primary) и от ситуации 'выросла конверсия, но сломалась производительность' — guardrails фиксируют это явно. Пример набора метрик для теста нового флоу оплаты: - Primary: conversion rate в успешную оплату - Secondary: время прохождения флоу, доля возвратов на предыдущий шаг - Guardrails: доля ошибок платёжного шлюза (не выше +0.1 п.п.), доля отмен подписки в течение 7 дней (не выше контрольного уровня) Критерий раскатки: primary

Читать полностьюab-testing

Короткий ответ Единственно верного алгоритма действий нет: нужно сначала оценить, можно ли восстановить корректную оценку эффекта из доступных данных (например, пересчитать на основе менее затронутых метрик или логов), затем прозрачно сообщить стейкхолдерам о масштабе неопределённости, и параллельно решить бизнес-вопрос — стоит ли откатывать уже раскатанное изменение или проводить новый, корректный тест постфактум, взвешивая стоимость каждого варианта. Как это работает подробнее Как это работает: задвоение событий конверсии в одной из групп искусственно увеличивает наблюдаемую конверсию именно в затронутой группе, что могло задать ложно позитивный или завышенный эффект, на основании которого было принято решение о раскатке — важно понять, затронуло ли задвоение только логирование (метрика искажена, но продукт работал нормально) или и реальное поведение (например, баг действительно отправлял пользователю двойное действие). План действий: 1) зафиксировать период и масштаб бага (SQL-сравнение event_count по дням

Читать полностьюab-testing

Короткий ответ Доверительный интервал (ДИ) — это диапазон значений эффекта, который с заданной вероятностью (обычно 95%) накроет истинную разницу между группами при многократном повторении эксперимента. Чем шире интервал, тем менее точна оценка эффекта. Как это работает подробнее 95% ДИ означает, что если повторить эксперимент много раз и каждый раз строить такой интервал, то примерно в 95% случаев он будет содержать истинное значение эффекта — это не вероятность для конкретного интервала. Пример: конверсия A = 10.0%, B = 10.8%, разница +0.8 п.п., 95% ДИ = [+0.1; +1.5] п.п. Вывод: эффект скорее всего положительный, но величина неопределённа — от почти незаметного до заметного. Проверка: сузить интервал можно только увеличением выборки или длительности теста, а не пересчётом по тем же данным. Что использовать на практике ДИ полезен для оценки и размера эффекта, и его неопределённости: если интервал [-0.5%; +3.5%], эффект может быть как отрицательным, так и ощутимо положительным — решение рискованно. Подводные

Читать полностьюdoveritelnyy-interval

Короткий ответ Мощность теста — это вероятность обнаружить реально существующий эффект заданного размера, если он действительно есть. Стандартное требование — мощность 80%, то есть допускается до 20% шанса пропустить реальный эффект (ошибка II типа). Как это работает подробнее мощность зависит от размера выборки, величины эффекта, вариативности метрики и выбранного уровня alpha: больше выборка и эффект — выше мощность при прочих равных. Пример: при мощности 80% и реальном эффекте +1 п.п. конверсии вероятность, что тест правильно покажет значимый результат, — 80%, а вероятность пропустить эффект (ошибка II типа, бета) — 20%. Sanity check: если тест регулярно «не находит» ожидаемые эффекты, стоит проверить расчёт мощности, а не менять выводы на лету. Что использовать на практике мощность рассчитывают на этапе планирования теста вместе с размером выборки; низкая мощность — частая причина, почему «тест ничего не показал», хотя эффект мог существовать. Подводные камни путают мощность со статистической значимостью

Читать полностьюeffekt

Короткий ответ Alpha — это заранее установленный порог вероятности ложноположительного результата (ошибки I типа), который команда готова допустить, обычно 0.05. Его фиксируют до теста, чтобы решение «значим/не значим» не подгонялось под желаемый результат после того, как данные уже видны. Как это работает подробнее alpha — порог для p-value: если p-value < alpha, различие признаётся статистически значимым. При alpha = 0.05 в среднем 5% экспериментов без реального эффекта будут ошибочно признаны значимыми. Пример недобросовестной практики: после теста с p-value = 0.06 аналитик пишет в отчёте «результат на грани значимости при alpha=0.1» без того, чтобы alpha=0.1 была согласована заранее. Проверка: в документе дизайна эксперимента должна быть зафиксирована alpha до запуска — это и есть способ защититься от такой подгонки. Что использовать на практике alpha выбирают с учётом стоимости ошибки: для рискованных изменений (например, влияющих на платежи) иногда берут более строгий порог (0.01), для низкорисковых — м

Читать полностьюalpha

Короткий ответ A/A-тест — это эксперимент, где обеим группам показывают одинаковую (контрольную) версию продукта, чтобы проверить, что система сплитования, трекинга и статистического анализа работает корректно и не даёт ложных значимых результатов на пустом месте. Как это работает подробнее поскольку группы идентичны, ожидается, что доля значимых результатов при многократных A/A-тестах близка к заявленному alpha (например, около 5% при alpha=0.05), а распределение пользователей между группами близко к ожидаемому сплиту. Пример: провели 20 независимых A/A-тестов на одной и той же платформе; если в 6 из них получили p<0.05 (30% вместо ожидаемых ~5%), это сигнал, что система сплитования или сбора данных работает некорректно — например, из-за дублирования событий или неравного трафика. Что использовать на практике A/A-тесты проводят при запуске новой платформы экспериментов или при подозрении на проблему в трекинге, чтобы валидировать инфраструктуру перед тем, как доверять ей реальные продуктовые тесты. Подводные

Читать полностьюaa-test

Короткий ответ MDE — это минимальный размер эффекта, который тест способен достоверно обнаружить при заданных размере выборки, мощности и alpha. Его определяют до теста, чтобы заранее понять, сколько трафика и времени нужно, и не разочароваться, что тест «не нашёл» эффект, который был меньше MDE. Как это работает подробнее MDE и размер выборки связаны обратной зависимостью: чем меньше эффект нужно обнаружить, тем больше пользователей требуется; MDE обычно выражают в абсолютных пунктах или в процентах относительно базовой метрики. Пример: при трафике 10 000 пользователей на группу в месяц и базовой конверсии 5% MDE при мощности 80% и alpha 0.05 может составлять около 1.2 п.п. Если ожидаемый эффект изменения — 0.3 п.п., тест в текущем виде не сможет его надёжно обнаружить, и нужно либо увеличить выборку, либо длительность. Что использовать на практике MDE выбирают так, чтобы он был не меньше минимального эффекта, который имеет практическую ценность для бизнеса — нет смысла гнаться за точностью обнаружения эффек

Читать полностьюmde

Короткий ответ Novelty effect — это временный всплеск реакции пользователей (положительной или отрицательной) просто из-за того, что изменение новое и непривычное, а не из-за его реальной долгосрочной ценности. Со временем, когда пользователи привыкают, эффект может ослабнуть или исчезнуть. Как это работает подробнее новый дизайн или фича привлекает внимание, пользователи начинают активнее её исследовать, что краткосрочно повышает вовлечённость независимо от того, улучшает ли изменение продукт на самом деле. Пример: в первую неделю теста CTR новой кнопки +15% относительно контроля, но к четвёртой неделе разница сокращается до +2%. Проверка: построить график эффекта по дням/неделям теста — убывающий тренд эффекта к контрольному уровню — характерный признак novelty effect. Что использовать на практике чтобы отличить реальный эффект от novelty effect, тест держат достаточно долго и смотрят на динамику эффекта во времени, а не только на итоговое усреднённое значение. Подводные камни раскатка фичи на всех пользова

Читать полностьюdinamika-effekta

Короткий ответ Единица рандомизации — это сущность, которую случайно распределяют по группам: пользователь, сессия, устройство или запрос. Выбор единицы должен соответствовать единице, на которую измеряется эффект, иначе один и тот же пользователь может попадать то в A, то в B, что искажает результат. Как это работает подробнее если рандомизация идёт по сессии, а метрика — это недельная активность пользователя, один человек в течение недели может видеть и A, и B, и эффект от изменения «размазывается» между группами. Пример проблемы: тест меняет оформление каталога, рандомизация идёт по session_id. Один и тот же пользователь за неделю заходит 5 раз и видит смесь A и B — посчитать «его» итоговую конверсию по группе корректно невозможно. Решение — перейти на рандомизацию по user_id с фиксацией группы на весь срок теста. Что использовать на практике для большинства продуктовых метрик (конверсия, удержание, LTV) рандомизацию делают на уровне пользователя с устойчивым назначением (одинаковый user_id — всегда одна г

Читать полностьюedinitsa-randomizatsii