Что такое Alertmanager и какую роль он играет отдельно от самого Prometheus?

Короткий ответ

Alertmanager — отдельный компонент, который принимает уже сработавшие алерты от одного или нескольких серверов Prometheus и занимается их дальнейшей судьбой: группировкой, подавлением дублей, задержкой (inhibition), маршрутизацией в нужный канал (Slack, email, PagerDuty) и управлением периодами "тишины" (silences).

Как это работает подробнее

сам Prometheus только вычисляет alerting rules (PromQL-условия) и, когда условие истинно дольше заданного for, отправляет алерт по HTTP в Alertmanager. Дальше Alertmanager группирует похожие алерты в одно уведомление, подавляет повторные отправки на период repeat_interval и решает, куда маршрутизировать алерт согласно дереву route.

Пример кода

config.yamlКопировать

# Фрагмент alerting rule в Prometheus
groups:
  - name: example
    rules:
      - alert: HighErrorRate
        expr: rate(http_requests_total{status=~"5.."}[5m]) > 0.05
        for: 10m
        labels:
          severity: critical

Что использовать на практике

• Практика. разделение ответственности позволяет нескольким инстансам Prometheus отправлять алерты в один общий Alertmanager (или кластер из нескольких для отказоустойчивости), а также централизованно настраивать "тишину" на время планового обслуживания без изменения правил в самом Prometheus.
• Практика. Когда условие expr остаётся истинным дольше 10m, Prometheus переводит алерт в статус firing и отправляет его в Alertmanager; в UI Alertmanager (/#/alerts) этот алерт появится с меткой severity=critical и будет маршрутизирован согласно настроенному route.

Подводные камни

• Частые ошибки. путать alerting rules в Prometheus (когда алерт должен сработать) с конфигурацией маршрутизации в Alertmanager (куда и как он доставляется) — это две разные системы с разными конфигами; забывать поднять отдельный silence перед плановыми работами, из-за чего дежурный получает лавину ожидаемых и бесполезных уведомлений.