Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台（prometheus_alert）

小熊

310
文章

12
评论

2020年3月8日Prometheus评论5,1702字数 3673阅读12分14秒阅读模式

前言

在一个监控系统中，如果说数据链路是她的骨架，那么告警通知服务就是他的灵魂！所有的监控服务都是为了能够及时通知出来，减少人工查询状态，及时发现问题，避免不必要的大规模故障，为企业政府省钱，和保证安全而存在的。

所以能发现问题很重要，更重要的是发现问题赶快让人知道，这就是今天要说的，告警通知服务。

一个开源项目PrometheusAlert

这个项目可以给很多第三方服务对接，进行电话、短信等告警方式，也是我们要用到的，先部署起来。

github位置

部署方式参考项目中README.md的部署方式那一节，要注意的是，他的配置文件必须在二进制文件的当前目录，conf/app.conf叫这个名字才会读取。

原因是用到beego框架，默认读取这个位置的配置文件，如果没有符合的二进制文件，可以自己编译。

GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o xxx/monitor_alert/bin/PrometheusAlertLinuxAmd64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go

GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=linux GOARCH=arm64 go build -o xxx/monitor_alert/bin/PrometheusAlertLinuxArm64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go

GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 go build -o xxx/monitor_alert/bin/PrometheusAlertMacAmd64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go

根据go语言的特性，需要创建一个项目，然后在src目录下放这个项目再编译。比如我创建的项目就叫monitor_alert

部署结束以后保存这个项目链接,这里是我在docker里启动得到的链接http://172.17.0.3:8080

Prometheus告警服务对接

首先你得先搭建起来一整套的Prometheus，像上图一样，如果你还没有搭建起来可以看看我之前的文章这就是Prometheus。

安装`alertmanager`告警服务（prometheus常用的告警服务）

创建alertmanager.yaml

global:
  resolve_timeout: 5m
route:
  group_by: ['instance']
  group_wait: 10m
  group_interval: 10s
  repeat_interval: 10m
  receiver: 'web.hook.prometheusalert'
receivers:
- name: 'web.hook.prometheusalert'
  webhook_configs:
  - url: 'http://172.17.0.3:8080/prometheus/alert'

这个配置文件里打开了webhook服务，产生告警的时候会自动调用该api，这个api可以自己定制，我的链接就是上一节部署的服务url,http://172.17.0.3:8080/prometheus/alert。

启动alertmanager

使用docker启动，把刚刚创建配置文件挂载上去，暴露端口9093（默认）

docker run -d -p 9093:9093 -v ~/Documents/code/docker/prometheus/alertmanager.yaml:/etc/alertmanager/alertmanager.yml   --name alertmanager prom/alertmanager:latest

启动效果：

可以在Status里看到你刚刚的webhook配置内容

增加`prometheus`与告警相关的配置文件。

创建prometheus.rules.yml文件

groups:
  - name: node_alert
    rules:
      - alert: 主机CPU告警
        expr: node_load1 > 0.01
        labels:
          name: prometheusalertcenter
          level: 3
        annotations:
          description: "{{ $labels.instance }} CPU load占用过高"
          mobile: 176xxxxxxxx

在prometheus主配置文件中加入配置节

参考这里设置的目录，设置规则文件的位置

      alerting:
        alertmanagers:
          - static_configs:
            - targets:
              - alertmanager.monitor:9093

      rule_files:
        - "/etc/prometheus/rules/*.yml"

启动prometheus

用docker启动

docker run -d -p 9090:9090 -v ~/Documents/code/docker/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml -v ~/Documents/code/docker/prometheus/prometheus.rules.yml:/etc/prometheus/prometheus.rules.yml --name prometheus-server prom/prometheus

注意了prometheus.yml的配置文件是参考这篇文章这就是Prometheus。

prometheus.rules.yml就是刚刚的文件。

启动效果：

看，这里产生告警，你可以修改自己的告警阀值，我这里设置的大于1%就告警所以立马就告警出来了。

稍后短信就出来了。

基于granfna告警对接

新建告警通道

Name任意，Type选webhook，Url配置为 http://172.17.0.3:8080/grafana/txdx，其中的ip就是刚刚安装了prometheus_alert服务的ip。
搞定以后选Save保存。

配置各指标的告警规则
进入面板编辑各个指标

可以先把阀值设置低一些，测试短信发送

加号选中你刚刚设置的告警通道，message 可不写，会自动查询grafana得到告警情况。

右上角保存

怎么对接到腾讯云短信平台？

服务器出网调用腾讯云短信服务，采用加密传输方式。
采用SDKAppID 和 AppKey 作为安全密钥，同时需要短信签名和模板，具体加密方式见腾讯云公有云短信服务加密方式

怎么申请

短信服务开通可以访问腾讯云短信服务，初始会免费赠送100条。
短信条数不够可以访问购买短信包网页

对接准备

1、申请 SDK AppID 以及 App Key：在开始本教程之前，您需要先获取 SDK AppID 和 App Key，如您尚未申请，请到短信控制台中添加应用。应用添加成功后您将获得 SDK AppID 以及 App Key。

注意： SDK AppID 是以 14xxxxx 开头。

2、申请签名：下发短信必须携带签名，您可以在短信控制台中

申请国内短信签名

注意，假如是政府机关在这里需要选择，然后提交资料，其他就按照自己的实际情况填写就好。

3.、申请模板：下发短信内容必须经过审核，您可以在短信控制台中申请短信模板

完成以上三项就会拿到appid,appkey,模板 id,你的签名，四个东西，便可开始填入刚刚的开源项目配置文件，或者自己进行代码开发。

短信SDK文档参考

短信SDK下载链接

如果喜欢用API可以参考文档

开始对接

进入你部署的prometheus_alert配置目录，例如xxx/prometheus_alert/conf/目录，编辑app.conf文件
找到defaultphone=176xxxxxxxx,123123123修改为你要的手机号，可以是单个也可以是多个，多个要用英文半角逗号隔开

修改以下配置open-txdx为1表示打开腾讯云短信告警

open-txdx=1
TXY_DX_appkey=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
TXY_DX_tpl_id=54xxxx
TXY_DX_sdkappid=140032xxxx
TXY_DX_sign=你的腾讯云短信平台签名

重启服务使配置生效即可。

如果发送短信失败，按链路依次检测，prometheus管理页面中的target标签是否监控成功，prometheus管理页面中的alert标签是否出现告警规则是否触发告警，alertmanager管理页面是否收到告警，最后到prometheusAlert页面Test标签测试通知方式是否对接成功，如下图