Сообщить об ошибкеКороткий ответ
Долгосрочный holdout — это группа пользователей, систематически исключаемая из всех или большинства новых раскаток в течение длительного периода (например, квартала), что позволяет оценить суммарный эффект множества отдельных изменений, который часто отличается от суммы их индивидуальных эффектов, измеренных в отдельных короткопериодных тестах; подход ценный, но дорогой и методологически небезупречный, единственного правильного способа его реализации нет.
Как это работает подробнее
Как это работает: отдельные A/B-тесты часто измеряют краткосрочный эффект одной фичи изолированно, в то время как долгосрочный holdout накапливает совместное воздействие многих изменений, включая их взаимодействие друг с другом и постепенные эффекты привыкания/усталости пользователей, которые невозможно увидеть в двухнедельном тесте.
Пример: 5% пользователей находятся в постоянно ротируемом holdout (не получают раскатки последних 90 дней), ежеквартально сравнивается North Star метрика holdout vs остальной базы с учётом демографической нормализации. Если сумма эффектов 20 отдельных тестов за квартал оценивалась в +5% к метрике, а фактическая разница holdout vs основной базы — только +2%, это сигнал о значимом взаимном затухании эффектов фич, который нужно исследовать отдельно.
Что использовать на практике
- На практике: holdout-группа должна быть достаточно большой для сохранения статистической мощности на горизонте месяцев, а её пользователи не должны узнавать о своём особом статусе (это может повлиять на поведение); обычно holdout ротируют (например, каждый квартал новая случайная группа) чтобы не создавать постоянно обделённый сегмент пользователей и не накапливать этическую/бизнес-проблему постоянного ухудшения их опыта.
Подводные камни
- Частые ошибки: интерпретация суммы индивидуальных эффектов отдельных тестов как эквивалента эффекта holdout без проверки — взаимодействия между фичами (как положительные синергии, так и взаимное ослабление) часто делают эти два числа заметно разными, и об этом важно явно предупреждать стейкхолдеров.
- Компромисс: больший holdout и более долгий срок дают точнее оценку накопительного эффекта, но дороже в смысле удержанной от части пользователей ценности (opportunity cost) и сложнее организационно (нужно постоянно исключать эту группу из раскаток всех команд); маленький или короткий holdout дешевле, но даёт менее надёжную оценку и может не отследить медленно проявляющиеся эффекты (например, изменение доверия к бренду). Решение о размере и длительности holdout — это компромисс между ценой информации и ценой её отсутствия, и его нужно периодически пересматривать по мере роста компании.