Как научить junior-аналитика избегать типичных ошибок интерпретации p-value?

Короткий ответ

Лучше всего работает сочетание разбора конкретных неправильных формулировок с объяснением, почему они неверны, практики на симуляциях (A/A-тесты, где заранее известно, что эффекта нет) и ревью реальных выводов junior-аналитика с конкретной обратной связью по формулировкам — одной лекции о теории обычно недостаточно для устойчивого изменения привычек.

Как это работает подробнее

ошибки интерпретации p-value чаще всего закрепляются не из-за незнания формального определения, а из-за привычных, интуитивно "удобных" неверных формулировок ("p-value — это вероятность того, что гипотеза верна"), которые звучат похоже на правильные; нужно прицельно тренировать распознавание таких формулировок.

Sanity check: попросить junior-аналитика предсказать результат до запуска симуляции ("как часто мы увидим p<0.05 при отсутствии реального эффекта?") — явное расхождение предсказания с фактическим результатом часто становится наглядной точкой обучения.

Пример кода

example.pyКопировать

import numpy as np
from scipy import stats
np.random.seed(7)
false_positive_rate = np.mean([
    stats.ttest_ind(np.random.normal(0,1,200), np.random.normal(0,1,200))[1] < 0.05
    for _ in range(2000)
])
print(false_positive_rate)  # должно быть близко к 0.05

Что использовать на практике

• Эффективный подход — дать junior-аналитику самостоятельно провести серию симулированных A/A-тестов (где заведомо нет эффекта) и посчитать, как часто p-value оказывается меньше 0.05 просто случайно — это создаёт интуитивное, прочувствованное понимание, а не просто запоминание формулы. Второй эффективный приём — регулярный ревью черновиков выводов перед отправкой стейкхолдерам, с конкретной правкой формулировок и объяснением, в чём проблема каждой неточной фразы. Полезно дать чек-лист типичных неверных фраз ("доказано", "на 95% уверены, что эффект есть", "вероятность гипотезы") для самопроверки перед отправкой отчёта.

Подводные камни

• Ограничиваться одной теоретической лекцией без практики на данных
• Давать обратную связь только на финальный вывод, не разбирая процесс рассуждения, который привёл к ошибке
• Не создавать безопасную среду для вопросов — junior-аналитик может стесняться переспросить про путаницу между p-value и вероятностью гипотезы.