Сообщить об ошибкеЧто показывает p-value
Значимость на уровне 0,05 означает: если бы эффекта не было, такой или более сильный результат встречался бы примерно в 5% экспериментов. Это утверждение о данных, а не о вероятности гипотезы.
Значимость и размер эффекта
На большой выборке значимым становится и прирост в 0,1%, который не покрывает стоимость разработки. Поэтому вместе с p-value смотрят доверительный интервал и минимальный интересный эффект.
Частые ошибки
- Подглядывание в результаты и остановка теста на первом «значимом» дне
- Много метрик без поправки на множественные сравнения
- Разные условия у групп: акции, релизы, сезонность
Практические задания
Проверьте себя: сформулируйте ответ вслух или выполните задание до того, как откроете подсказку.
Разобрать сомнительный тест
Команда остановила тест на третий день: конверсия выросла на 12%, p-value = 0,04.
Перечислите проверки, которые нужно сделать до раскатки, и объясните, почему результат может не воспроизвестись.