Thiết Lập Và Monitoring Hệ Thống Với Prometheus/Loki/Grafana (Phần 2)
Ở Phần 1, chúng ta đã biết những nguy cơ và tác động có thể xảy ra nếu doanh nghiệp không triển khai hệ thống giám sát hoặc giám sát không có hiệu quả. Đồng thời, chúng ta cũng đã biết cách thiết lập server cần theo dõi cho một hệ thống. Phần 2 này sẽ tiếp tục chỉ cho mọi người cách thiết lập server monitor như thế nào để hoàn thiện một hệ thống giám sát nhé.
Triển khai mô hình giám sát hệ thống (tt)
2. Thiết lập server monitor
Những thứ cần thiết lập : Prometheus , Loki và Grafana
Các bước download và cài đặt
# Tạo folder chứa prometheus $ mkdir /usr/local/src/prometheus # Di chuyển đến folder vừa tạo $ cd /usr/local/src/prometheus # Download Prometheus mới nhất $ wget https://github.com/prometheus/prometheus/releases/download/v2.46.0/prometheus-2.46.0.linux-amd64.tar.gz # Giải nén file vừa download $ tar zxvf prometheus-2.46.0.linux-amd64.tar.gz $ mv prometheus-2.46.0.linux-amd64 prometheus #Lưu trữ vào /usr/bin $ cp -r prometheus/prometheus /usr/bin
Download file cấu hình và setting lại phù hợp với yêu cầu
#Tạo folder config và download config file
$ mkdir /etc/prometheus
$ cd /etc/prometheus
$ wget https://raw.githubusercontent.com/prometheus/prometheus/master/documentation/examples/prometheus.yml
Setting file config cho phù hợp với như trong bài hướng dẫn này
# my global config global: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute. # scrape_timeout is set to the global default (10s). # Alertmanager configuration alerting: alertmanagers: - static_configs: - targets: # - alertmanager:9093 # Load rules once and periodically evaluate them according to the global 'evaluation_interval'. rule_files: # - "first_rules.yml" # - "second_rules.yml" # A scrape configuration containing exactly one endpoint to scrape: # Here it's Prometheus itself. scrape_configs: # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. - job_name: "prometheus" # metrics_path defaults to '/metrics' # scheme defaults to 'http'. static_configs: - targets: ["192.168.88.206:9090"] - job_name: 'node-exporter' static_configs: - targets: ["192.168.88.233:9100"] - job_name: 'process-exporter' static_configs: - targets: ["192.168.88.233:9256"]
Tạo file service để khởi động
$ vi /usr/lib/systemd/system/prometheus-node-exporter.service
Cập nhật nội dung như sau
[Unit] Description=Prometheus - Monitoring system and time series database Documentation=https://prometheus.io/docs/introduction/overview/ After=network-online.target [Service] Type=simple ExecStart=/usr/bin/prometheus \ --config.file=/etc/prometheus/prometheus.yml \ [Install] WantedBy=multi-user.target
Khởi động và xác nhận tình trạng service đã cài đặt hoàn thành chưa
# Reload daemon
$ systemctl daemon-reload$ systemctl enable prometheus.service$ systemctl start prometheus.service
Xác nhận tình trạng bằng browser theo URL:
http://192.168.88.206:9090
Các bước download và cài đặt
# Tạo folder chứa loki $ mkdir /usr/local/src/loki # Di chuyển đến folder vừa tạo $ cd /usr/local/src/loki # Download Version mới nhất $ curl -O -L "https://github.com/grafana/loki/releases/download/v2.8.4/loki-linux-amd64.zip" # Giải nén $ unzip "loki-linux-amd64.zip" # Cấp quyền thực thi cho loki $ chmod a+x "loki-linux-amd64" # Copy đến /usr/bin $ cp -r loki-linux-amd64 /usr/bin
Download file cấu hình
# Tạo folder lưu config file loki $ mkdir /etc/loki # Di chuyển đến folder vừa tạo $ cd /etc/loki # Download config file $ wget https://raw.githubusercontent.com/grafana/loki/main/cmd/loki/loki-local-config.yaml
Tạo Service file để khởi động
$ vi /usr/lib/systemd/system/loki.service
Nội dung file service như sau
[Unit] Description=Loki Documentation=https://github.com/grafana/loki/releases/ [Service] Type=simple ExecStart=/usr/bin/loki-linux-amd64 \ -config.file=/etc/loki/loki-local-config.yaml [Install] WantedBy=multi-user.target
Khởi động và xác nhận tình trạng dịch vụ
$ service loki status
Kiểm tra bằng browser tại url:
http://192.168.88.206:3100/metrics
Kiểm tra thử bằng process
$ ps -ax | grep loki
Kết quả
Sử dụng hệ điều hành centOS8 nên cần tạo repo dùng để install Grafana
$ vi /etc/yum.repos.d/grafana.repo
Nội dung
# Thêm repo cho Grafana [grafana] name=grafana baseurl=https://packages.grafana.com/oss/rpm repo_gpgcheck=1 enabled=1 gpgcheck=1 gpgkey=https://packages.grafana.com/gpg.key sslverify=1 sslcacert=/etc/pki/tls/certs/ca-bundle.crt
Install Grafana và start
# Install Grafana $ yum install grafana -y # Start lên thôi nào $ systemctl start grafana-server
Dùng browser để kiểm tra xem nào:
http://192.168.88.206:3100
( Default: username: admin, password: admin)
Setup cơ bản
Thêm datasource cho Prometheus và Loki
CPU
- Menu → Explore
- Data source：Prometheus
- Metric: node_cpu_seconds_total
- Label filters: mode !~ idle
- Rate: Range 1m
Chúng ta add to Dashboard để dễ monitor nhé
Memory
- Menu → Explore
- Data source：Prometheus
- Lựa chọn mode bên phải là : code
- Nhập code vào ô Metrics browser > :
- Chúng ta xem qua kết quả nào
Sshd Process
- Menu → Explore
- Data source：Prometheus
- Metric: nodeprocess_namegroup_num_procs
- Label filters: groupname =~ .*sshd.*
- Kiểm tra kết quả trên Dashboard thôi nào
Log của hệ thống /var/log/messages
- Data：Loki
- Label filters: filename = /var/log/messages
- Xem kết quả nào
Log của cron /var/log/crond
- Data: Loki
- Label filters: filename = /var/log/crond
- Xem kết quả nào
Tổng kết
Nhìn chung, bất kỳ hệ thống nào cũng cần phải có một hệ thống giám sát. Việc lựa chọn công cụ hỗ trợ trong số nhiều công cụ ngoài kia cần phải trải qua sự thử nghiệm thực tế, cũng như xem xét xem độ phù hợp với hệ thống của chúng ta.
Hoạt động của Grafana rất trực quan và dễ dàng theo dõi kiểm soát mà không cần phải tốn nhiều công để nghiên cứu. Sau lần đầu tiên thử xây dựng cơ sở hạ tầng giám sát, bản thân đã rút ra được nhiều bài học, từ đó có thể tổng kết chút kinh nghiệm thành một bài chia sẻ để mọi người cùng tham khảo.
Cảm ơn mọi người đã quan tâm theo dõi bài viết!
 | Phan Văn Liền Web Developer |
ỨNG TUYỂN
Chế độ phúc lợi
