Сообщить об ошибкеКороткий ответ
Двусторонний тест проверяет, отличается ли метрика в любую сторону (B лучше или хуже A), и используется по умолчанию. Односторонний тест проверяет эффект только в одном направлении (например, «B не хуже A») и применяется редко, когда обратный эффект заведомо не интересен бизнесу.
Как это работает подробнее
в двустороннем тесте alpha делится между двумя «хвостами» распределения, что делает критерий чуть более консервативным для обнаружения эффекта в одном направлении по сравнению с односторонним.
Пример: если распределение бюджета A/B calculator позволяет указать «one-sided»/«two-sided», для обычного продуктового теста (можно и хуже, и лучше) выбирают two-sided. Sanity check: если в документе эксперимента нет явного обоснования, почему ухудшение метрики невозможно или неинтересно, по умолчанию используют двусторонний критерий.
Что использовать на практике
- по умолчанию используют двусторонний тест, так как ухудшение метрики от изменения — это тоже важный и ожидаемый исход, который нельзя игнорировать.
Подводные камни
- выбор одностороннего теста постфактум, чтобы «протолкнуть» уже увиденный положительный результат к значимости — это манипуляция, которая увеличивает фактическую вероятность ложного срабатывания.