Сообщить об ошибкеКороткий ответ
MDE — это минимальный размер эффекта, который тест способен достоверно обнаружить при заданных размере выборки, мощности и alpha. Его определяют до теста, чтобы заранее понять, сколько трафика и времени нужно, и не разочароваться, что тест «не нашёл» эффект, который был меньше MDE.
Как это работает подробнее
MDE и размер выборки связаны обратной зависимостью: чем меньше эффект нужно обнаружить, тем больше пользователей требуется; MDE обычно выражают в абсолютных пунктах или в процентах относительно базовой метрики.
Пример: при трафике 10 000 пользователей на группу в месяц и базовой конверсии 5% MDE при мощности 80% и alpha 0.05 может составлять около 1.2 п.п. Если ожидаемый эффект изменения — 0.3 п.п., тест в текущем виде не сможет его надёжно обнаружить, и нужно либо увеличить выборку, либо длительность.
Что использовать на практике
- MDE выбирают так, чтобы он был не меньше минимального эффекта, который имеет практическую ценность для бизнеса — нет смысла гнаться за точностью обнаружения эффекта в 0.01%, если даже 1% решает бизнес-вопрос.
Подводные камни
- запуск теста без расчёта MDE и обнаружение постфактум, что при имеющемся трафике тест мог обнаружить только эффект от 5 п.п., хотя реалистичный эффект изменения — доли процента.