Сообщить об ошибкеКороткий ответ
Нужна централизованная политика экспериментирования (минимальные стандарты объёма выборки, порог значимости, запрет на «подглядывание» и повторный запуск до получения нужного результата) и инструмент учёта всех активных тестов, чтобы видеть пересечения аудиторий и совокупный уровень риска по компании.
Как это работает подробнее
При большом числе одновременных тестов в разных командах растёт совокупная вероятность случайных «значимых» результатов просто по количеству экспериментов (аналог проблемы множественных сравнений, но на уровне всей организации), а пересечение аудиторий между тестами разных команд может незаметно контаминировать результаты друг друга. Для снижения риска совокупных ложноположительных результатов полезно также использовать «холодное хранение» неожиданно хороших результатов на небольшой срок перед масштабированием, чтобы отсеять случайные всплески.
Компромисс. Централизованный контроль снижает число ложных выводов и пересечений между тестами, но замедляет эксперименты и может восприниматься как бюрократия, снижающая скорость и мотивацию команд тестировать гипотезы; уровень централизации стоит выбирать исходя из масштаба компании, цены ошибки и зрелости команд. Чем строже и детальнее политика, тем выше административная нагрузка на команды и ниже их мотивация документировать тесты добросовестно, что парадоксальным образом может снизить прозрачность вместо повышения.
Пример. За квартал в компании завершено 60 A/B-тестов в 6 командах При пороге значимости 5% ожидаемое число случайных ложноположительных результатов: ~3 (60 x 0.05) Без централизованного учёта эти 3 «ложных победителя» могут быть масштабированы наравне с реальными эффектами; требование повторного подтверждающего теста перед масштабированием крупных изменений снижает этот риск ценой замедления раскатки.
Что использовать на практике
- Практика. Полезно вести единый реестр активных экспериментов с указанием затронутых сегментов аудитории, а для важных решений (масштабирование на большой бюджет, изменения, влияющие на бренд или цену) требовать повторного подтверждающего теста перед финальным раскатом. Реестр экспериментов стоит делать максимально простым для заполнения командами (минимум обязательных полей), иначе дисциплина ведения такого реестра быстро снизится на практике.
Подводные камни
- Частые ошибки. Ошибка — дать каждой команде полную свободу тестировать что угодно без центрального учёта, из-за чего компания периодически «хоронит» рабочие гипотезы или раскатывает не работающие изменения из-за случайного ложноположительного результата. Ошибка — вводить политику контроля рисков только после того, как уже произошёл заметный провал от масштабирования ложноположительного результата, вместо проактивного построения процесса.