在Prometheus的报警系统中，是分为2个部分的， 规则是配置是在prometheus中的， prometheus组件完成报警推送给alertmanager的， alertmanager然后管理这些报警信息，包括静默、抑制、聚合和通过电子邮件、on-call通知系统和聊天平台等方法发送通知。
主要步骤如下
- 安装和部署alertmanager
- 在prometheus中配置alertmanager的地址信息。
- 在prometheus中设置报警规则
- 在alertmanager配置接受者信息等
安装和部署alertmanager
整体来说，prometheus的所有套件都是比较简单的，这里提供一个简单部署方式。
# 进入下载目录
[root@node00 ~]# cd /usr/src/
# 下载alertmanager
[root@node00 src]# wget https://github.com/prometheus/alertmanager/releases/download/v0.19.0/alertmanager-0.19.0.linux-amd64.tar.gz
# 解压
[root@node00 src]# tar xf alertmanager-0.19..linux-amd64.tar.gz
[root@node00 src]# ll
total
drwxr-xr-x Sep : alertmanager-0.19..linux-amd64
-rw-r--r-- root root Sep : alertmanager-0.19..linux-amd64.tar.gz
-rw-r--r-- root root Sep : a.txt
-rw-r--r-- root root Sep : consul_1..1_linux_amd64.zip
-rw-r--r-- root root Sep : consul-template_0..0_linux_amd64.tgz
drwxr-xr-x. root root Nov debug
drwxr-xr-x. root root Nov kernels
-rw-r--r-- root root Sep : node_exporter-0.18..linux-amd64.tar.gz
-rw-r--r-- root root Sep : prometheus-2.12..linux-amd64.tar.gz # 部署到特定位置
[root@node00 src]# mv alertmanager-0.19..linux-amd64 /usr/local/prometheus/
[root@node00 src]# cd /usr/local/prometheus/
# 查看目录情况
[root@node00 prometheus]# ll
total
drwxr-xr-x Sep : alertmanager-0.19..linux-amd64
lrwxrwxrwx prometheus prometheus Sep : prometheus -> prometheus-2.12..linux-amd64
drwxr-xr-x prometheus prometheus Sep : prometheus-2.12..linux-amd64
# 创建软连接
[root@node00 prometheus]# ln -s alertmanager-0.19..linux-amd64 alertmanager
# 确认软连接
[root@node00 prometheus]# ll
total
lrwxrwxrwx root root Sep : alertmanager -> alertmanager-0.19..linux-amd64
drwxr-xr-x Sep : alertmanager-0.19..linux-amd64
lrwxrwxrwx prometheus prometheus Sep : prometheus -> prometheus-2.12..linux-amd64
drwxr-xr-x prometheus prometheus Sep : prometheus-2.12..linux-amd64
# 准备开机自启配置文件
[root@node00 alertmanager]# cd /usr/lib/systemd/system/
[root@node00 system]# cat alertmanager.service
[Unit]
Description=alertmanager
After=network.target [Service]
User=prometheus
Group=prometheus
WorkingDirectory=/usr/local/prometheus/alertmanager
ExecStart=/usr/local/prometheus/alertmanager/alertmanager --log.level=debug --log.format=json
# ExecStart=/usr/local/prometheus/alertmanager/alertmanager
[Install] WantedBy=multi-user.target # 修改权限
[root@node00 alertmanager]# chown prometheus:prometheus /usr/local/prometheus/alertmanager -R
# 启动
[root@node00 alertmanager]# systemctl restart alertmanager
# 查看状态
[root@node00 alertmanager]# systemctl status alertmanager
# 开机自启
[root@node00 system]# systemctl enable alertmanager
在prometheus集成alertmanager
部署完毕alertmanager， 需要告知prometheus告警信息推送的位置， 通过如下配置即可完成。相对比较简单。
# /usr/local/prometheus/prometheus/prometheus.yml
# 修改此文件中的alerting的配置如下配置
alerting:
alertmanagers:
- static_configs:
- targets:
- 192.168.100.10:
配置完毕后重启prometheus服务。
创建报警规则
为了能先走通流程，这里的报警规则先弄一个简单一点的。
[root@node00 prometheus]# vim prometheus.yml
rule_files:
- "rules/*rules.yml"
# - "second_rules.yml" [root@node00 prometheus]# mkdir rules
[root@node00 prometheus]# cat rules/node_rules.yml
groups:
- name: node-alert
rules:
- alert: disk-full
expr: - ((node_filesystem_avail_bytes{mountpoint="/",fstype=~"ext4|xfs"} * ) / node_filesystem_size_bytes {mountpoint="/",fstype=~"ext4|xfs"})
for: 1m
labels:
serverity: page
annotations:
summary: "{{ $labels.instance }} disk full "
description: "{{ $labels.instance }} disk > {{ $value }} "
重启prometheus服务，可以在web界面看到如下信息。
查看当前是否有报警信息
目前看是没有磁盘满的， 我们这里配合下触发这个报警规则，
# 注意这个是在节点01上面执行的
[root@node01 ~]# df -h |grep "/$"
/dev/mapper/centos-root 50G .5G 49G % / # 手工生成一个大文件
[root@node01 ~]# dd if=/dev/zero of=bigfile bs=1M count=
+ records in
+ records out
bytes ( GB) copied, 18.8162 s, 2.2 GB/s
# 节点上面确认磁盘是超过我们之前的报警设置值了
[root@node01 ~]# df -h |grep "/$"
/dev/mapper/centos-root 50G 41G .6G % /
等1分钟后在此查看alert信息，如下。
配置消息接收
上面的消息信息已经从prometheus推送给alertmanager了， 我们已经可以在alertmanager的web管理界面看到对应的报警信息，但是我们还没有配置如何让alertmanager把这些信息推送我们的社交软件上面去。
由于邮件系统大家用的比较多，这里就是用qq邮箱进行后续试验。
[root@node00 alertmanager]# cat alertmanager.yml
global:
resolve_timeout: 5m ###################################
smtp_auth_username: "1072892917@qq.com"
smtp_auth_password: "这是你的QQ邮箱授权码而不是密码，切记切记，具体授权码获取看后面的本文末尾介绍有"
#smtp_auth_secret: ""
smtp_require_tls: false
smtp_smarthost: "smtp.qq.com:465"
smtp_from: "1072892917@qq.com"
#################################### route:
group_by: ['alertname']
group_wait: 10s
group_interval: 10s
repeat_interval: 1h
receiver: 'email-zhaojiedi' receivers:
- name: 'email-zhaojiedi'
email_configs:
- send_resolved: true
to: @qq.com
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'dev', 'instance']
配置完毕alertmanager重启alertmanager,可以收到如下邮件信息。
测试邮件发送
使用如下命令触发报警
[root@node01 ~]# dd if=/dev/zero of=bigfile bs=1M count=
注意： 如果调试过程中有问题， 请查看/var/log/message信息，获取alertmanager发送邮件的错误信息。
测试报警恢复通知
使用如下命令清理文件
[root@node01 ~]# >bigfile
可以收到如下邮件：
我在调试过程中常用错误
问题1：
does not advertise the STARTTLS extension：
解决方案：
smtp_require_tls: false即可。
问题2：
email.loginAuth auth: 535 Error
解决方案：
smtp_auth_password: 这个配置项设置为授权码，而不是QQ邮箱登陆，详细获取授权码参考地址： https://zhidao.baidu.com/question/878811848141402332.html
问题3：
一切配置正确，就是发不出去。
解决方案：
查看是否使用了25端口，默认云厂商会禁用25端口， 可以向云厂商申请解封25端口，或者使用465端口。
问题4：
报警消息能发送，但是报警恢复消息收不到。
解决方案：
缺少 send_resolved: true 配置文件， 请确保对应email_config配置文件，有此属性。
其他
如果配置中有问题，可以给我留言。