Сообщить об ошибкеКороткий ответ
Дизайн эксперимента включает формулировку гипотезы, выбор основной и вторичных/guardrail метрик, расчёт размера выборки и MDE на основе ожидаемого эффекта и доступного трафика, выбор единицы рандомизации, определение длительности (с учётом минимум одного полного бизнес-цикла) и критериев принятия решения до запуска.
Как это работает подробнее
каждый шаг сужает неопределённость следующего: гипотеза определяет метрику, метрика и ожидаемый эффект определяют MDE, MDE и трафик определяют длительность; пропуск шага обычно всплывает позже как неинтерпретируемый результат.
Чек-лист документа дизайна эксперимента: 1. Гипотеза: «если ..., то метрика X изменится на Y, потому что ...» 2. Основная метрика + 2-3 guardrail-метрики 3. Базовое значение метрики, MDE, alpha, мощность → расчёт n 4. Единица рандомизации и способ сплитования 5. Длительность (с учётом полных недельных циклов) 6. Критерий принятия решения (например, «раскатываем, если основная метрика значима и guardrails не ухудшились более чем на X%») Проверка: документ должен быть завершён и зафиксирован до первого дня показа теста пользователям.
Что использовать на практике
- длительность теста должна покрывать минимум один полный недельный цикл (а лучше несколько), чтобы учесть различия в поведении по дням недели; также заранее фиксируют, что будет считаться 'успехом' — конкретный порог по основной метрике, а не 'посмотрим по ощущениям'.
Подводные камни
- запуск теста без заранее написанного документа дизайна (гипотеза, метрики, MDE, длительность, критерий решения) — это открывает дорогу для постфактумной подгонки метрик и трактовки результата под желаемый ответ.