Что такое scrape interval и retention в Prometheus и как они влияют друг на друга?

Короткий ответ

Scrape interval — как часто Prometheus опрашивает цели (например, каждые 15 секунд); retention — как долго собранные данные хранятся локально на диске (по умолчанию в Prometheus 2.x это 15 дней); меньший интервал опроса даёт более точные графики, но быстрее заполняет диск при том же retention.

Как это работает подробнее

каждый scrape создаёт новую точку данных для каждого временного ряда; чем чаще scrape, тем больше точек накапливается за одно и то же время хранения, и тем больше места на диске и нагрузки на TSDB это требует. Retention задаётся флагом --storage.tsdb.retention.time (или по размеру — --storage.tsdb.retention.size), и по его истечении старые блоки данных удаляются автоматически.

Пример кода

commands.shКопировать

prometheus \
  --config.file=prometheus.yml \
  --storage.tsdb.retention.time=15d \
  --storage.tsdb.path=/prometheus/data

Что использовать на практике

• Практика. типичный scrape interval — 15–60 секунд для большинства сервисных метрик; более частый опрос (1–5 секунд) используют только для узких задач с явной необходимостью высокой точности по времени. Для хранения метрик дольше, чем позволяет локальный диск Prometheus (месяцы, годы), используют remote_write в Thanos/Mimir/VictoriaMetrics с собственными политиками долгосрочного хранения и downsampling.
• Практика. Если за 15 дней при scrape interval 15 секунд собирается, например, 40 ГБ данных, то уменьшение интервала до 5 секунд (без увеличения диска) увеличит объём данных примерно втрое и может привести к исчерпанию дискового пространства раньше срока — это нужно прогнозировать заранее через метрику prometheus_tsdb_storage_blocks_bytes.

Подводные камни

• Частые ошибки. увеличивать scrape interval "про запас" до 1 секунды без реальной необходимости, что резко увеличивает объём TSDB и может привести к нехватке диска раньше, чем ожидалось; не учитывать, что уменьшение retention не освобождает место немедленно — компакция блоков происходит по расписанию; задавать слишком большой retention на локальном диске без прогноза роста данных при добавлении новых сервисов.