Вы менторите junior-аналитика, который регулярно делает одну и ту же ошибку: объявляет тест успешным по первому значимому p-value среди нескольких проверенных метрик в разные дни. Как бы вы выстроили процесс менторства и контроля качества, а не просто разово поправили его в этом случае?

Короткий ответ

Единого рецепта нет, но эффективнее не точечные правки отдельных отчётов, а системные изменения: чек-лист дизайна эксперимента перед запуском (обязательная фиксация метрики, срока и alpha), код-ревью или ревью отчётов A/B-тестов со стороны более опытного аналитика перед презентацией стейкхолдерам, и обучение через разбор конкретных симуляций, которые наглядно показывают, как peeking и множественные сравнения завышают долю ложных побед.

Как это работает подробнее

Как это работает: ошибки peeking и невидимых множественных сравнений обычно происходят не из-за незнания термина, а из-за отсутствия привычки фиксировать методологию до того, как увидены данные; системное решение — встроить эту фиксацию в процесс (шаблон документа дизайна эксперимента, который нельзя пропустить) так, чтобы правильное поведение было дефолтным, а не требовало постоянной дисциплины внимания.

Пример учебной симуляции для менторства (Python):

Ожидаемый результат: доля false_positives заметно выше 0.05 (часто 0.2-0.3), что наглядно демонстрирует эффект peeking на реальной симуляции.

Пример кода

analysis.pyКопировать

import numpy as np
from scipy import stats
false_positives = 0
n_sims = 200
for _ in range(n_sims):
    a = np.random.binomial(1, 0.05, 1000)
    b = np.random.binomial(1, 0.05, 1000)  # тот же истинный p — эффекта нет
    significant_ever = False
    for day in range(5, 15):
        _, p = stats.ttest_ind(a[:day*60], b[:day*60])
        if p < 0.05:
            significant_ever = True
    false_positives += significant_ever
print(false_positives / n_sims)

Что использовать на практике

• На практике: полезно провести с аналитиком практическое упражнение: симулировать 100 A/A-тестов (без реального эффекта) с ежедневной проверкой и остановкой по первому p<0.05, посчитать фактическую долю 'побед' и сравнить с заявленными 5% — личный опыт увидеть цифру 25-30% вместо 5% обычно убеждает сильнее, чем абстрактное объяснение.

Подводные камни

• Частые ошибки менторства: ограничиться разовым исправлением конкретного отчёта ('в этот раз поправил и показал как правильно') без изменения процесса — тогда аналитик с высокой вероятностью повторит ту же ошибку на следующем тесте, особенно под давлением сроков.
• Компромисс: жёсткий обязательный чек-лист и ревью перед каждым тестом повышает качество, но замедляет итерации и может восприниматься как бюрократия, особенно командой с высокой нагрузкой; более лёгкий подход (только обучение и периодические выборочные проверки) быстрее, но не гарантирует системного устранения ошибки. Баланс между контролем и скоростью зависит от того, насколько критичны решения, принимаемые на основе тестов этого аналитика, и от того, на каком этапе роста сам аналитик — для начинающего стоит временно усилить контроль, постепенно его ослабляя по мере роста самостоятельности.