告警规则
告警规则允许您基于 Prometheus 表达式语言表达式定义告警条件,并将触发告警的通知发送到外部服务。在给定的时间点,只要告警表达式产生一个或多个向量元素,该告警就会对这些元素的标签集视为活动状态。
定义告警规则
在 Prometheus 中配置告警规则的方式与记录规则相同。
一个包含告警的规则文件示例:
groups:
- name: example
labels:
team: myteam
rules:
- alert: HighRequestLatency
expr: job:request_latency_seconds:mean5m{job="myjob"} > 0.5
for: 10m
keep_firing_for: 5m
labels:
severity: page
annotations:
summary: High request latency
可选的 `for` 子句使 Prometheus 在首次遇到新的表达式输出向量元素和将该元素的告警视为触发之间等待一段特定的时间。在这种情况下,Prometheus 会在每次评估期间检查告警是否持续活动 10 分钟,然后再触发告警。处于活动状态但尚未触发的元素处于挂起(pending)状态。没有 `for` 子句的告警规则将在第一次评估时变为活动状态。
还有一个可选的 `keep_firing_for` 子句,它告诉 Prometheus 在最后一次满足触发条件后,继续将此告警保持触发状态指定的时长。这可以用于防止告警抖动、因数据丢失导致错误解除等情况。没有 `keep_firing_for` 子句的告警规则将在条件不满足的第一次评估时停用(假设上面描述的任何可选的 `for` 持续时间已满足)。
labels 子句允许指定一组要附加到告警上的额外标签。任何现有的冲突标签都将被覆盖。标签值可以使用模板。
annotations 子句指定一组信息性标签,可用于存储更长的附加信息,例如告警描述或运行手册链接。注释值可以使用模板。
模板
标签和注释的值可以使用控制台模板进行模板化。$labels 变量包含告警实例的标签键/值对。可以通过 $externalLabels 变量访问已配置的外部标签。$value 变量包含告警实例的评估值。
# To insert a firing element's label values:
{{ $labels.
# To insert the numeric expression value of the firing element:
{{ $value }}
示例
groups:
- name: example
rules:
# Alert for any instance that is unreachable for >5 minutes.
- alert: InstanceDown
expr: up == 0
for: 5m
labels:
severity: page
annotations:
summary: "Instance {{ $labels.instance }} down"
description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."
# Alert for any instance that has a median request latency >1s.
- alert: APIHighRequestLatency
expr: api_http_request_latencies_second{quantile="0.5"} > 1
for: 10m
annotations:
summary: "High request latency on {{ $labels.instance }}"
description: "{{ $labels.instance }} has a median request latency above 1s (current value: {{ $value }}s)"
在运行时检查告警
要手动检查哪些告警处于活动状态(挂起或触发),请导航到 Prometheus 实例的“Alerts”选项卡。这里将显示每个已定义告警当前处于活动状态的确切标签集。
对于挂起和触发的告警,Prometheus 还会存储格式为 `ALERTS{alertname="
发送告警通知
Prometheus 的告警规则擅长发现_当前_的问题,但它不是一个功能齐全的通知解决方案。需要另一层来在简单的告警定义之上添加摘要、通知频率限制、静默和告警依赖关系。在 Prometheus 的生态系统中,Alertmanager 扮演了这个角色。因此,Prometheus 可以被配置为定期向 Alertmanager 实例发送有关告警状态的信息,然后由 Alertmanager 负责分派正确的通知。Prometheus 可以通过其服务发现集成来自动发现可用的 Alertmanager 实例。
看望病人的祝福语简短(精选80句)
软件搬家指南:怎么移动程序到另一个驱动器|3个可行方法!