Сообщить об ошибкеКороткий ответ
Нулевая гипотеза (H0) обычно утверждает отсутствие эффекта или различия («новая версия не отличается от старой»), альтернативная (H1) — что эффект или различие есть; статистический тест оценивает, достаточно ли данных, чтобы усомниться в H0.
Как это работает подробнее
мы заранее формулируем H0 и H1, выбираем уровень значимости, затем считаем статистику теста и p-value; если p-value меньше порога, H0 отвергают в пользу H1, иначе — оснований отвергнуть H0 недостаточно (это не то же самое, что «H0 доказана»). Такая формализация особенно важна при командной работе, чтобы разные аналитики интерпретировали результат теста одинаково.
Пример кода
Пример на Python
from scipy.stats import chi2_contingency
table = [[120, 880], [150, 850]] # [конверсии, не конверсии] для A и B
chi2, p, dof, expected = chi2_contingency(table)
print(p)Что использовать на практике
- На практике: формулировка гипотез должна предшествовать анализу данных, а не подбираться под уже увиденный результат. Альтернативная гипотеза может быть двусторонней («конверсии отличаются») или односторонней («новая версия лучше») — выбор влияет на расчёт p-value и должен быть обоснован до теста. Полезно заранее задокументировать обе гипотезы и критерий принятия решения в плане эксперимента, чтобы не формулировать их заново уже после получения результата.
- Пример: Тестируем новую кнопку оформления заказа: H0 — конверсия новой кнопки равна конверсии старой; H1 — конверсии различаются (двусторонняя).
- Пример: Если p < 0.05, есть основания отвергнуть H0 в пользу различия конверсий; если нет — данных недостаточно, чтобы утверждать о различии, но это не доказывает их равенство.
Подводные камни
- Частые ошибки: менять формулировку гипотезы после того, как увидели результат (подгонка под желаемый вывод); говорить «мы доказали H0», когда на самом деле просто не нашли значимых различий — это разные вещи, особенно при маленькой выборке; путать одностороннюю и двустороннюю гипотезу при расчёте p-value. Ещё одна ошибка — забывать, что «не отвергли H0» не равнозначно «H0 верна», особенно когда мощность теста низкая из-за небольшой выборки.