Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

小熊 Prometheus评论4,6512字数 3673阅读12分14秒阅读模式

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

前言

在一个监控系统中,如果说数据链路是她的骨架,那么告警通知服务就是他的灵魂!所有的监控服务都是为了能够及时通知出来,减少人工查询状态,及时发现问题,避免不必要的大规模故障,为企业政府省钱,和保证安全而存在的。

所以能发现问题很重要,更重要的是发现问题赶快让人知道,这就是今天要说的,告警通知服务。

一个开源项目PrometheusAlert

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

这个项目可以给 很多第三方服务对接 ,进行电话 、短信 等告警方式 ,也是我们要用到的 ,先部署起来。

github位置

部署方式参考项目中README.md部署方式那一节,要注意的是 ,他的配置文件必须在二进制文件的当前目录,conf/app.conf叫这个名字才会读取。

原因是用到beego框架 ,默认读取这个位置的配置文件,如果没有符合的二进制文件,可以自己编译。

GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o xxx/monitor_alert/bin/PrometheusAlertLinuxAmd64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go

GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=linux GOARCH=arm64 go build -o xxx/monitor_alert/bin/PrometheusAlertLinuxArm64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go

GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 go build -o xxx/monitor_alert/bin/PrometheusAlertMacAmd64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go

根据go语言的特性,需要创建一个项目,然后在src目录下放这个项目再编译。比如我创建的项目就叫monitor_alert

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

部署结束以后保存这个项目链接,这里是我在docker里启动得到的链接http://172.17.0.3:8080

Prometheus告警服务对接

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

首先你得先搭建起来一整套的Prometheus,像上图一样,如果你还没有搭建起来可以看看我之前的文章 这就是Prometheus

安装alertmanager告警服务(prometheus常用的告警服务)

  1. 创建alertmanager.yaml
global:
  resolve_timeout: 5m
route:
  group_by: ['instance']
  group_wait: 10m
  group_interval: 10s
  repeat_interval: 10m
  receiver: 'web.hook.prometheusalert'
receivers:
- name: 'web.hook.prometheusalert'
  webhook_configs:
  - url: 'http://172.17.0.3:8080/prometheus/alert'

这个配置文件里打开了webhook服务,产生告警的时候会自动调用该api,这个api可以自己定制,我的链接就是上一节部署的服务url,http://172.17.0.3:8080/prometheus/alert

  1. 启动alertmanager

使用docker启动,把刚刚创建配置文件挂载上去,暴露端口9093(默认)

docker run -d -p 9093:9093 -v ~/Documents/code/docker/prometheus/alertmanager.yaml:/etc/alertmanager/alertmanager.yml   --name alertmanager prom/alertmanager:latest

启动效果:

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

可以在Status里看到你刚刚的webhook配置内容

增加prometheus与告警相关的配置文件。

  1. 创建prometheus.rules.yml文件
groups:
  - name: node_alert
    rules:
      - alert: 主机CPU告警
        expr: node_load1 > 0.01
        labels:
          name: prometheusalertcenter
          level: 3
        annotations:
          description: "{{ $labels.instance }} CPU load占用过高"
          mobile: 176xxxxxxxx
  1. 在prometheus主配置文件中加入配置节

参考这里设置的目录,设置规则文件的位置

      alerting:
        alertmanagers:
          - static_configs:
            - targets:
              - alertmanager.monitor:9093

      rule_files:
        - "/etc/prometheus/rules/*.yml"
  1. 启动prometheus

docker启动

docker run -d -p 9090:9090 -v ~/Documents/code/docker/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml -v ~/Documents/code/docker/prometheus/prometheus.rules.yml:/etc/prometheus/prometheus.rules.yml --name prometheus-server prom/prometheus

注意了prometheus.yml的配置文件是参考这篇文章 这就是Prometheus

prometheus.rules.yml就是刚刚的文件。

启动效果:

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

看,这里产生告警,你可以修改自己的告警阀值,我这里设置的大于1%就告警所以立马就告警出来了。

稍后短信就出来了。

基于granfna告警对接

  1. 新建告警通道

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)
Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

Name任意,Type选webhook,Url配置为 http://172.17.0.3:8080/grafana/txdx,其中的ip就是刚刚安装了prometheus_alert服务的ip。
搞定以后选Save保存。

  1. 配置各指标的告警规则
    进入面板编辑各个指标

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)
Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

可以先把阀值设置低一些,测试短信发送
Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

加号选中你刚刚设置的告警通道,message 可不写,会自动查询grafana得到告警情况。
Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)
右上角保存

怎么对接到腾讯云短信平台?

服务器出网调用腾讯云短信服务,采用加密传输方式。
采用SDKAppID 和 AppKey 作为安全密钥,同时需要短信签名和模板,具体加密方式见腾讯云公有云短信服务加密方式

怎么申请

短信服务开通可以访问 腾讯云短信服务,初始会免费赠送100条 。
短信条数不够可以访问购买短信包网页

对接准备

1、申请 SDK AppID 以及 App Key: 在开始本教程之前,您需要先获取 SDK AppID 和 App Key,如您尚未申请,请到 短信控制台 中添加应用。应用添加成功后您将获得 SDK AppID 以及 App Key。

注意: SDK AppID 是以 14xxxxx 开头。

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

2、申请签名: 下发短信必须携带签名,您可以在 短信控制台 中

申请国内短信签名

注意,假如是政府机关在这里需要选择,然后提交资料,其他就按照自己的实际情况填写就好。

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

3.、申请模板: 下发短信内容必须经过审核,您可以在短信控制台中申请短信模板

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

完成以上三项就会拿到appid,appkey,模板 id,你的签名,四个东西,便可开始填入刚刚的开源项目配置文件,或者自己进行代码开发。

短信SDK文档参考

短信SDK下载链接

如果喜欢用API可以参考 文档

开始对接

进入你部署的prometheus_alert配置 目录,例如xxx/prometheus_alert/conf/目录,编辑app.conf文件
找到defaultphone=176xxxxxxxx,123123123修改为你要的手机号,可以是单个也可以是多个,多个要用英文半角逗号隔开

修改以下配置open-txdx为1表示打开腾讯云短信告警

open-txdx=1
TXY_DX_appkey=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
TXY_DX_tpl_id=54xxxx
TXY_DX_sdkappid=140032xxxx
TXY_DX_sign=你的腾讯云短信平台签名

重启服务使配置生效即可。

如果发送短信失败,按链路依次检测,prometheus管理页面中的target标签是否监控成功,prometheus管理页面中的alert标签是否出现告警规则是否触发告警,alertmanager管理页面是否收到告警,最后到prometheusAlert页面Test标签测试通知方式是否对接成功,如下图

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

注意阿里云短信平台的变量必须设置为下面所示内容,否则会有长度20个字符限制,导致无法发送告警

Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台(prometheus_alert)

weinxin
公众号
扫码订阅最新深度技术文,回复【资源】获取技术大礼包
小熊