Сообщить об ошибкеКороткий ответ
Шумные алерты — это уведомления, которые срабатывают слишком часто, дублируются или не требуют реального действия от дежурного; самая частая простая причина — слишком чувствительный порог или отсутствие временного условия (for), из-за чего алерт мигает (flapping) при естественных краткосрочных колебаниях метрики.
Как это работает подробнее
если правило алерта срабатывает при любом однократном превышении порога без задержки, то кратковременный всплеск (например, на один scrape) немедленно создаёт уведомление, даже если через 10 секунд метрика вернулась в норму. Многократные такие срабатывания за день приучают дежурного игнорировать уведомления — это называется "alert fatigue".
Пример кода
config.yaml
# Шумный вариант: срабатывает на любой мгновенный всплеск
- alert: HighCPU
expr: instance_cpu_usage > 80
# Более спокойный вариант: порог должен держаться 10 минут
- alert: HighCPU
expr: instance_cpu_usage > 80
for: 10mЧто использовать на практике
- Практика. базовое средство от простого шума — добавление
for(условие должно оставаться истинным N минут подряд, прежде чем алерт перейдёт вfiring) и выбор порога, основанного на реальном распределении метрики за прошлые недели, а не на произвольном "круглом" числе. Также стоит отличать predictive/warning-уровни от критических, чтобы не каждое отклонение становилось будильником посреди ночи. - Практика. Первый вариант создаст алерт при любом кратковременном пике CPU длительностью даже в один scrape-интервал; второй — только если высокая загрузка держится устойчиво 10 минут, что гораздо реже совпадает со случайными кратковременными всплесками и ближе к реальной проблеме.
Подводные камни
- Частые ошибки. ставить алерт на метрику, которая естественно колеблется (например, "CPU выше 80%" без учёта
for, хотя кратковременные пики CPU — это нормально); дублировать один и тот же смысл алерта на уровне нескольких инструментов (Prometheus + внешний Synthetic monitoring) без группировки, получая два уведомления об одном и том же инциденте; не делать разницу между алертом "требует немедленного действия" и просто "информационным" сообщением.