Сообщить об ошибкеКороткий ответ
Guardrail-метрика — показатель, который нельзя сильно ухудшать при попытке улучшить основную (целевую) метрику; она служит "сигналом тревоги" о том, что оптимизация приносит побочный вред.
Как это работает подробнее
при запуске изменения или эксперимента, помимо основной метрики успеха, заранее выбирают 1-3 метрики-ограничителя и следят, чтобы они не ухудшились сверх допустимого порога.
Что использовать на практике
- Применение. guardrail-метрики обычно выбирают так, чтобы они отражали качество опыта пользователя или долгосрочное здоровье бизнеса (жалобы, возвраты, отписки, время загрузки), а не только краткосрочную выгоду.
- Проверка или пример. Команда убрала шаг подтверждения email перед покупкой, чтобы повысить конверсию (целевая метрика выросла с 3% до 3.8%), но доля возвратов/чарджбэков (guardrail) выросла с 1% до 4% — суммарный эффект на бизнес оказался отрицательным, хотя целевая метрика улучшилась.
Подводные камни
- Частая ошибка. оценивают успех изменения только по основной метрике, не проверяя guardrails, и потом обнаруживают скрытый вред постфактум; выбирают guardrail-метрики задним числом, подгоняя их под уже принятое решение, а не заранее.