Сообщить об ошибкеКороткий ответ
Primary-метрика — единственная метрика, по которой принимается решение об успехе теста и которая заранее определяет размер выборки. Secondary-метрики помогают понять механизм эффекта, но не являются критерием решения сами по себе. Guardrail-метрики — это метрики, которые должны остаться не хуже определённого порога, чтобы не допустить скрытого вреда продукту при победе по основной метрике.
Как это работает подробнее
Как это работает: разделение метрик на категории заранее защищает от множественных сравнений (не нужно делать поправку по всем метрикам, если только одна — primary) и от ситуации 'выросла конверсия, но сломалась производительность' — guardrails фиксируют это явно.
Пример набора метрик для теста нового флоу оплаты: - Primary: conversion rate в успешную оплату - Secondary: время прохождения флоу, доля возвратов на предыдущий шаг - Guardrails: доля ошибок платёжного шлюза (не выше +0.1 п.п.), доля отмен подписки в течение 7 дней (не выше контрольного уровня) Критерий раскатки: primary значим и положителен И все guardrails в пределах допустимого диапазона.
Что использовать на практике
- На практике: типичные guardrails — время загрузки страницы, частота ошибок/крэшей, отмены подписки, жалобы в поддержку; для них обычно задают односторонний порог ухудшения ('не хуже минус X%'), а не требуют статистической значимости улучшения.
Подводные камни
- Частые ошибки: отсутствие заранее определённых guardrail-метрик приводит к ситуациям, когда фича раскатывается из-за роста конверсии, а через месяц обнаруживается рост обращений в поддержку или отмен подписки, которые тест не отследил.