Сообщить об ошибкеКороткий ответ
Чем больше вариантов сравнивается одновременно с контролем, тем выше вероятность случайно найти хотя бы один «значимый» результат просто за счёт количества сравнений, даже если ни один вариант реально не лучше контроля.
Как это работает подробнее
Каждое отдельное сравнение имеет, например, 5%-й шанс ложноположительного результата; при 10 одновременных сравнениях суммарная вероятность хотя бы одного ложного «победителя» значительно превышает 5%. Поправка Бонферрони — один из самых консервативных методов (делит порог значимости на число сравнений), есть и менее строгие альтернативы (метод Холма), сохраняющие больше статистической мощности.
Пример. 8 креативов протестированы против контроля при пороге значимости 5% Ожидаемая вероятность хотя бы одного ложноположительного результата: 1 - (0.95)^8 ~ 34% Поэтому «победителя» из такого теста логично подтвердить отдельным прямым A/B-тестом против контроля.
Что использовать на практике
- Практика. При тестировании сразу нескольких вариантов стоит либо корректировать порог значимости (например, поправка Бонферрони), либо относиться к «победителю» среди многих вариантов с осторожностью и перепроверять его в отдельном повторном тесте. На практике проще всего ограничивать число одновременно тестируемых вариантов (2-3 вместо 8-10) и чаще проводить последовательные простые тесты, а не один большой мультивариантный раунд.
Подводные камни
- Частые ошибки. Ошибка — запустить 8 креативов одновременно против контроля, выбрать тот, что показал наилучший результат, и сразу считать его окончательным победителем без поправки на множественность сравнений. Ошибка — повторно включать в следующий тест «почти победивший» вариант из прошлого раунда без явного учёта того, что он уже был частью множественного сравнения.