Короткий ответ Минимум два типа проверок — свежесть (данные за вчерашний день реально загружены к ожидаемому времени) и полнота (объём загруженных строк не аномально отличается от обычного объёма за день), с алертом в Slack/почту при нарушении порога. Как это работает подробнее Проверка свежести сравнивает MAX(loaded_at) или наличие строк с вчерашней датой с текущим временем и ожидаемым SLA пайплайна (например, «данные за вчера должны быть к 8:00»); проверка полноты сравнивает COUNT(*) за последний день с историческим средним/медианой за последние N дней с допустимым отклонением (например, ±30%). Пример кода Что использовать на практике На практике. Пороги отклонения лучше не брать «с потолка», а откалибровать по историческому разбросу объёма данных (учитывая день недели — выходные обычно отличаются от будней), и разделять алерты на «warning» (небольшое отклонение, можно разобраться в рабочее время) и «critical» (данных нет вообще, нужно реагировать немедленно). Проверка. запрос, возвращающий строки, сигнализ
Загрузка…
