Мониторинг Linux-сервера: Prometheus и Grafana для начинающих

Q: Сколько ресурсов нужно Prometheus и Grafana для одного сервера?

Для одного-пяти хостов хватает 1 vCPU, 1–2 ГБ памяти и нескольких гигабайт диска. Один хост с node_exporter даёт около тысячи временных рядов, это примерно 10–15 МБ данных в сутки при опросе раз в 15 секунд.

Q: Можно ли ставить Prometheus на тот же сервер, который он мониторит?

Для учёбы и одного некритичного сервера можно. Но если сервер упадёт, вместе с ним упадёт и мониторинг, и алерт о падении никто не отправит. Для продакшена Prometheus выносят на отдельную небольшую машину.

Q: Чем Prometheus отличается от Zabbix?

Prometheus сам опрашивает HTTP-эндпоинты с метриками и хранит их в своей временной базе, запросы пишутся на PromQL, а графики строят в Grafana. Zabbix — комплексная система со своим агентом, SQL-базой, веб-интерфейсом и шаблонами. Prometheus удобнее для контейнеров и динамической инфраструктуры, Zabbix — для парка однотипных серверов и сетевого оборудования.

Q: Почему в Grafana пишет No data?

Чаще всего из-за неверного источника данных в дашборде, слишком узкого диапазона времени или переменной job, которая не совпадает с именем job в prometheus.yml. Проверьте запрос во вкладке Explore: если там данные есть, проблема в настройках панели.

Q: Как долго Prometheus хранит метрики?

По умолчанию 15 дней. Срок меняется флагом --storage.tsdb.retention.time, например 30d или 90d, а объём можно ограничить флагом --storage.tsdb.retention.size. Для хранения на годы используют внешние хранилища вроде VictoriaMetrics, Thanos или Mimir.

Q: Нужен ли Alertmanager, если в Grafana есть свои алерты?

Не обязательно: Grafana Alerting умеет слать уведомления сама. Связка правил Prometheus и Alertmanager удобнее тем, что правила лежат в файлах рядом с конфигом, проверяются promtool и версионируются в git, а алерты продолжают работать, даже если Grafana недоступна.

Q: Как мониторить сайт, а не только сервер?

Добавьте blackbox_exporter: он проверяет HTTP-коды, время ответа и срок действия TLS-сертификата снаружи. Метрики самого приложения отдают его собственные экспортеры, например nginx-prometheus-exporter или postgres_exporter.

sudo apt update
sudo apt install prometheus-node-exporter
systemctl status prometheus-node-exporter
curl -s http://localhost:9100/metrics | grep ^node_load
VER=1.9.1   # подставьте актуальную версию
cd /tmp
wget https://github.com/prometheus/node_exporter/releases/download/v${VER}/node_exporter-${VER}.linux-amd64.tar.gz
tar xzf node_exporter-${VER}.linux-amd64.tar.gz
sudo install -m 0755 node_exporter-${VER}.linux-amd64/node_exporter /usr/local/bin/
sudo useradd --system --no-create-home --shell /usr/sbin/nologin node_exporter
[Unit]
Description=Prometheus node_exporter
After=network-online.target
Wants=network-online.target

[Service]
User=node_exporter
Group=node_exporter
ExecStart=/usr/local/bin/node_exporter --collector.systemd
Restart=on-failure

[Install]
WantedBy=multi-user.target
sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter
sudo ufw allow from 203.0.113.10 to any port 9100 proto tcp
sudo ufw deny 9100/tcp
sudo apt install prometheus
systemctl status prometheus
promtool --version
global:
  scrape_interval: 15s
  evaluation_interval: 15s

rule_files:
  - /etc/prometheus/rules/*.yml

alerting:
  alertmanagers:
    - static_configs:
        - targets: ['localhost:9093']

scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ['localhost:9090']

  - job_name: node
    static_configs:
      - targets: ['localhost:9100']
        labels:
          env: prod
promtool check config /etc/prometheus/prometheus.yml
sudo systemctl reload prometheus
ARGS="--storage.tsdb.retention.time=60d --storage.tsdb.retention.size=8GB --web.listen-address=127.0.0.1:9090"
sudo apt install -y apt-transport-https wget gnupg
sudo mkdir -p /etc/apt/keyrings
wget -q -O - https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/grafana.gpg > /dev/null
echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com stable main" | sudo tee /etc/apt/sources.list.d/grafana.list
sudo apt update && sudo apt install grafana
sudo systemctl enable --now grafana-server
ssh -L 3000:localhost:3000 -L 9090:localhost:9090 user@monitoring-server
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
node_load5 / count without (cpu, mode) (node_cpu_seconds_total{mode="idle"})
(1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100
100 - (node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs"}
      / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs"} * 100)
predict_linear(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs"}[6h], 24 * 3600) < 0
rate(node_disk_io_time_seconds_total[5m])
rate(node_network_receive_bytes_total{device!="lo"}[5m]) * 8
groups:
  - name: node
    rules:
      - alert: HostDown
        expr: up{job="node"} == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }} не отвечает"

      - alert: DiskWillFillIn24h
        expr: predict_linear(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs"}[6h], 24*3600) < 0
        for: 30m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }}: {{ $labels.mountpoint }} заполнится за сутки"

      - alert: DiskAlmostFull
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs"} / node_filesystem_size_bytes < 0.10
        for: 10m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }}: на {{ $labels.mountpoint }} меньше 10% места"

      - alert: LowMemory
        expr: node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes < 0.10
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }}: доступно меньше 10% памяти"

      - alert: SystemdUnitFailed
        expr: node_systemd_unit_state{state="failed"} == 1
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }}: юнит {{ $labels.name }} в состоянии failed"
promtool check rules /etc/prometheus/rules/node.yml
sudo systemctl reload prometheus
sudo apt install prometheus-alertmanager
echo -n 'ТОКЕН_БОТА' | sudo tee /etc/prometheus/telegram_token > /dev/null
sudo chown prometheus:prometheus /etc/prometheus/telegram_token
sudo chmod 600 /etc/prometheus/telegram_token
route:
  receiver: telegram
  group_by: ['alertname', 'instance']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h

receivers:
  - name: telegram
    telegram_configs:
      - bot_token_file: /etc/prometheus/telegram_token
        chat_id: -1001234567890
        send_resolved: true
amtool check-config /etc/prometheus/alertmanager.yml
sudo systemctl restart prometheus-alertmanager
amtool alert add TestAlert severity=warning instance=test --annotation=summary="Проверка доставки" --alertmanager.url=http://localhost:9093
  - job_name: node
    file_sd_configs:
      - files:
          - /etc/prometheus/targets/*.yml
- targets: ['10.0.0.11:9100', '10.0.0.12:9100']
  labels:
    env: prod
    role: web
- targets: ['10.0.0.21:9100']
  labels:
    env: prod
    role: db
tls_server_config:
  cert_file: /etc/node_exporter/node.crt
  key_file: /etc/node_exporter/node.key
basic_auth_users:
  prometheus: $2y$10$...   # bcrypt-хеш пароля, например из htpasswd -nBC 10 ""

Компонент	Порт	Где ставить	Кому открыт
node_exporter	9100	На каждом сервере	Только IP Prometheus
Prometheus	9090	Сервер мониторинга	localhost и Grafana
Alertmanager	9093	Рядом с Prometheus	localhost
Grafana	3000	Рядом с Prometheus	Через Nginx с HTTPS и паролем

Критерий	Prometheus + Grafana	Zabbix	Netdata
Модель сбора	Pull по HTTP	Агент, активный и пассивный режим, SNMP	Агент собирает локально, раз в секунду
Хранение	Своя TSDB	PostgreSQL или MySQL	Локальная база на каждом хосте
Запросы и графики	PromQL, дашборды в Grafana	Встроенный веб-интерфейс, шаблоны	Готовые дашборды без настройки
Сильная сторона	Контейнеры, Kubernetes, метрики приложений	Парк серверов и сетевое оборудование	Быстро понять, что происходит на одном хосте
Порог входа	Средний: YAML и PromQL	Средний: много сущностей в интерфейсе	Низкий: поставил и смотришь
Конфигурация как код	Всё в текстовых файлах	В основном через интерфейс и API	Файлы, но обычно не нужны

Мониторинг Linux-сервера: Prometheus и Grafana для начинающих

Как устроен мониторинг на Prometheus?

Что подготовить перед установкой?

Как установить node_exporter?

Свежая версия с GitHub

Сразу закройте порт 9100

Как установить и настроить Prometheus?

Как долго хранить метрики и сколько это места?

Как установить Grafana и подключить Prometheus?

Как безопасно открыть веб-интерфейсы?

Какие метрики сервера смотреть в первую очередь?

CPU

Нагрузка относительно числа ядер

Память

Диск: место и прогноз

Диск: задержки и сеть

Как настроить алерты в Telegram?

Правила алертов

Alertmanager и бот Telegram

Как добавить второй и следующие серверы?

Шифрование между серверами

Prometheus, Zabbix или Netdata: что выбрать?

Почему target в статусе DOWN и другие частые ошибки

Что делать дальше?

Частые вопросы

Сколько ресурсов нужно Prometheus и Grafana для одного сервера?

Можно ли ставить Prometheus на тот же сервер, который он мониторит?

Чем Prometheus отличается от Zabbix?

Почему в Grafana пишет No data?

Как долго Prometheus хранит метрики?

Нужен ли Alertmanager, если в Grafana есть свои алерты?

Как мониторить сайт, а не только сервер?