Короткий ответ Вычислите MAX(loaded_at) и задержку относительно текущего времени. Проверка успешна, если задержка не превышает допустимый интервал для конкретного набора. Как это работает подробнее Техническое поле загрузки показывает, когда строка попала в DWH. Поле бизнес-события может быть старым даже при исправно работающем пайплайне или новым после поздней повторной загрузки. Порог. Для часовой таблицы и ежедневной витрины нужны разные SLA. Полнота. Вместе со временем последней строки проверяйте ожидаемое количество записей или партиций. Пример кода Что использовать на практике Автоматизируйте проверку до обновления зависимых отчётов. Храните результат и отправляйте оповещение владельцу только после превышения согласованного SLA. Подводные камни Неверное поле. created_at события не доказывает успешность последней загрузки. Пустая таблица. MAX вернёт NULL; этот случай нужно считать ошибкой отдельно.
Загрузка…
