Руководство недовольно, что эксперименты в компании идут «слишком долго», и предлагает ускорить процесс, смотря на результаты теста каждый день и останавливая его при первом значимом результате. Как ты выстроишь коммуникацию по методологии экспериментов и её trade-offs?

Короткий ответ

Объясню руководству на конкретной иллюстрации, что ежедневная проверка и остановка теста при первом «значимом» результате (peeking) резко повышает вероятность ложноположительного вывода, и предложу альтернативы ускорения, которые не жертвуют надёжностью: предрасчёт необходимого размера выборки, параллельное тестирование нескольких гипотез, или методы с контролем peeking (например, групповое последовательное тестирование), явно обозначив, что у каждого варианта есть свои издержки.

Как это работает подробнее

при стандартном t-тесте с фиксированным порогом alpha=0.05 многократная проверка результата по ходу накопления данных увеличивает фактическую вероятность ложной находки значительно выше 5% — это известная проблема множественных сравнений во времени (peeking problem), а не теоретическая мелочь.

Пример кода

peeking_simulation.pyКопировать

import numpy as np
rng = np.random.default_rng(42)
false_positives = 0
n_simulations = 1000
for _ in range(n_simulations):
    control = rng.binomial(1, 0.10, 2000)
    test = rng.binomial(1, 0.10, 2000)  # одинаковая истинная конверсия — эффекта нет
    for day in range(1, 21):
        c, t = control[:day*100], test[:day*100]
        if len(c) < 30:
            continue
        p1, p2 = c.mean(), t.mean()
        se = np.sqrt(p1*(1-p1)/len(c) + p2*(1-p2)/len(t))
        z = (p2 - p1) / se if se > 0 else 0
        if abs(z) > 1.96:
            false_positives += 1
            break
print(false_positives / n_simulations)  # ожидаемо заметно выше 0.05, напр. ~0.3-0.4

Что использовать на практике

• Применение. вместо запрета на мониторинг (что вызовет сопротивление — бизнесу важно видеть прогресс) предлагаю: (1) фиксировать минимальный размер выборки и длительность до начала теста исходя из minimum detectable effect, (2) при желании смотреть раньше — использовать методологию, рассчитанную на промежуточные проверки (sequential testing/alpha spending), (3) параллельно запускать независимые тесты по разным гипотезам, чтобы ускорить цикл обучения без ускорения каждого отдельного теста.
• Проверка или пример. Иллюстрация риска peeking (симуляция для презентации руководству): Результат показывает, что при ежедневном подглядывании и остановке по первому значимому результату доля ложных находок при отсутствии реального эффекта заметно превышает заявленные 5% — это наглядный аргумент для обсуждения методологии с руководством.

Подводные камни

• Частая ошибка. разрешить руководству «просто смотреть, но не останавливать тест раньше срока» — на практике психологически почти невозможно удержаться от досрочного решения, если видно «значимый» результат на экране; представить проблему исключительно как техническое ограничение без предложения конкретной альтернативы ускорения, что выглядит как отказ помочь бизнесу, а не как экспертная позиция.