Сообщить об ошибкеКороткий ответ
Корреляция показывает, что две переменные меняются согласованно, но не объясняет почему; причинность означает, что изменение одной переменной напрямую вызывает изменение другой. Наблюдаемая корреляция может объясняться обратной причинностью, общей скрытой причиной или совпадением.
Как это работает подробнее
коэффициент корреляции — чисто статистическая мера совместной изменчивости; он не «знает» о механизме, связывающем переменные. Такие вопросы особенно важны при работе с наблюдательными, а не экспериментальными данными, где нет случайного распределения по группам.
Пример кода
Пример на Python
import pandas as pd
df = pd.DataFrame({'ice_cream_sales': [10,20,35,50,45,25],
'drownings': [2,4,7,10,9,5]})
print(df.corr()) # высокая корреляция без причинной связиЧто использовать на практике
- На практике: прежде чем делать причинные выводы из наблюдательных данных, стоит задать вопросы: нет ли скрытого фактора, влияющего на обе переменные (confounder); не может ли причинность идти в обратную сторону; воспроизводится ли связь на других срезах данных и во времени. Надёжные причинные выводы обычно требуют эксперимента (A/B-теста) или специальных методов причинного вывода. На практике полезно строить scatter plot и рассматривать возможные альтернативные объяснения связи до того, как предлагать её для принятия решений.
- Пример: Классический пример: число утопленников и продажи мороженого коррелируют летом, но мороженое не топит людей — оба показателя растут из-за жары (скрытый фактор — сезон).
- Пример: Проверка гипотезы потребовала бы контроля температуры как переменной или эксперимента, а не просто взгляда на коэффициент корреляции.
Подводные камни
- Частые ошибки: делать вывод «X вызывает Y» только по коэффициенту корреляции; игнорировать очевидных третьих факторов (сезонность, размер базы пользователей); путать «нет линейной корреляции» с «нет никакой связи» — связь может быть нелинейной. Ещё одна ошибка — считать отсутствие статистически значимой корреляции доказательством отсутствия любой связи, хотя связь может быть нелинейной или проявляться только в части сегментов.