Младший аналитик подготовил для руководства слайд: «после того как мы добавили новую рекомендательную систему, средний чек вырос на 8%, значит, рекомендательная система увеличивает средний чек» — и этот вывод уже почти ушёл в презентацию. Как ты, как более опытный коллега/руководитель, поступишь, и как выстроишь процесс, чтобы такие ошибки не повторялись?

Короткий ответ

Останавливаю презентацию вывода как причинного, объясняю аналитику разницу между корреляцией двух одновременных событий и доказанным причинным эффектом, прошу проверить альтернативные объяснения (сезонность, другие одновременные изменения) и, если нужен причинный вывод, предлагаю при возможности ретроспективно оценить его более строгим методом (A/B, diff-in-diff) или явно пометить вывод как гипотезу.

Как это работает подробнее

рост среднего чека после запуска фичи — это наблюдательная корреляция во времени; без контрольной группы невозможно исключить другие одновременные причины (сезон, маркетинговая акция, изменение ассортимента), поэтому прямой причинный вывод не обоснован имеющимися данными.

Что использовать на практике

• На практике: в диалоге с аналитиком разбираю конкретно, какие ещё события произошли в тот же период и могли повлиять на средний чек; вместе ищем, был ли при запуске фичи выделен контрольный сегмент (постепенный rollout, A/B), на основе которого можно дать более обоснованную оценку; переформулируем слайд в «средний чек вырос на 8% одновременно с запуском системы; для оценки причинного эффекта нужен A/B-тест или ретроспективный анализ с контролем других факторов», если строгая оценка пока недоступна.
• Пример: Исправленная формулировка слайда: «Средний чек вырос на 8% в период после запуска рекомендательной системы (значимый временной эффект, p<0.05 по сравнению с предыдущим периодом). Так как rollout не был рандомизирован, нельзя исключить влияние других факторов (сезонная промо-акция в этот период). Рекомендуем A/B-тест на новом сегменте пользователей для подтверждения причинного эффекта». Проверка: внедрить чек-лист ревью для слайдов с выводами «X увеличивает/вызывает Y» — обязательное поле «как исключены альтернативные объяснения» перед отправкой руководству.

Подводные камни

• Частые ошибки: путать временную последовательность событий с причинностью; не проверять, была ли контрольная группа или возможность сравнения; поддаваться давлению показать «красивый» результат к дедлайну презентации, жертвуя корректностью формулировки.