В задаче от бизнеса написано: «Узнай, почему упала конверсия». Как различить вопрос и готовую гипотезу, и что уточнишь перед началом анализа?

Короткий ответ

Уточню, есть ли у постановщика задачи уже готовая гипотеза причины (например, «из-за нового дизайна») или вопрос действительно открыт — это меняет подход: при наличии гипотезы её нужно явно проверить, а не просто подтвердить, а при открытом вопросе — начать с описательного анализа и сузить круг причин.

Как это работает подробнее

фраза «узнай, почему» часто скрывает скрытое ожидание конкретного ответа у постановщика задачи (confirmation bias), и аналитик рискует просто подтвердить ожидаемую причину, не проверив альтернативы.

Пример кода

conversion_by_version.sqlКопировать

-- ClickHouse: конверсия по версии дизайна корзины и дате
SELECT cart_version, toDate(event_time) AS day,
       uniqExact(user_id) AS users,
       uniqExactIf(user_id, event = 'purchase') AS buyers
FROM events
WHERE event_time >= today() - 14
GROUP BY cart_version, day
ORDER BY day;

Что использовать на практике

• Применение. спрашиваю прямо: «У вас есть предположение о причине, которое нужно проверить, или это действительно открытый вопрос?» Если гипотеза есть — явно формулирую её и ищу данные, которые могут её как подтвердить, так и опровергнуть. Если вопрос открыт — начинаю с разбивки конверсии по сегментам (канал, устройство, этап воронки), чтобы локализовать, где именно падение.
• Проверка или пример. Задача: «Конверсия упала, наверное, из-за нового дизайна корзины». Проверка гипотезы: Если конверсия упала одинаково у пользователей со старым и новым дизайном, гипотеза о дизайне не подтверждается — нужно искать другую причину (например, сбой платежного провайдера).

Подводные камни

• Частая ошибка. подогнать анализ под уже озвученную руководителем причину, игнорируя противоречащие данные; потратить время на полный перебор всех возможных причин без приоритизации, когда можно было быстро локализовать проблему по сегментам и воронке.