Что такое data lineage (происхождение данных) простыми словами и зачем аналитику о нём знать?

Короткий ответ

Data lineage — это карта зависимостей: какие источники, таблицы, поля и преобразования участвуют в создании конечного набора данных или показателя.

Как это работает подробнее

Lineage может строиться на уровне таблиц или столбцов. Он связывает source, raw, staging, mart и BI-объекты, а также показывает операции фильтрации, соединения и агрегации.

• Расследование. По цепочке можно определить, на каком шаге появились потери или дубли.
• Оценка влияния. Перед изменением поля видно, какие модели и дашборды зависят от него.

Пример кода

orders_lineage.txtКопировать

source.orders
  -> raw.orders
  -> staging.orders_clean
  -> mart.daily_revenue
  -> dashboard.revenue_overview

Что использовать на практике

• Поддерживайте lineage автоматически из оркестратора, SQL-моделей и BI, где это возможно.
• Дополняйте технические связи владельцами, SLA и бизнес-определениями.

Подводные камни

• Устаревшая схема. Нарисованная вручную карта быстро перестаёт соответствовать реальности.
• Только уровень таблиц. Для сложных метрик может потребоваться lineage конкретных столбцов и выражений.