云原生监控系统 Prometheus

← 上一章：文档数据库 MongoDB ｜ 返回总目录 ｜ 下一章：微服务和消列队列 →

内容概述

• Prometheus 介绍

• Prometheus 部署

• Node Exporter 采集数据

• Pushgateway 采集数据

• Prometheus 配置和标签管理

• PromQL 查询语言

• Grafana 图形化展示

• Prometheus 告警机制

• Prometheus 服务发现

• 各种 Exporter 高级功能

1 Prometheus 介绍

1.1 监控系统组成

一个完整的监控系统需要包括如下功能：数据产生、数据采集、数据存储、数据处理、数据展示分析、 告警

1.1.1 数据来源

我们如果要监控数据，首先得有数据，也就是说，这些数据应该可以被记录下来，或者被暴露出来，数据常见的产生、直接或间接暴露方式的方式如下

硬件本身的记录信息 - 以文件或者以内存属性的方式存在

应用业务的接口 - 主动暴露软件本身的运行状态，比如 redis info、各种status等

相关的信息采集工具 - 方便收集数据或者采集数据的系统级别的命令等

注意：这些数据在长时间的运行过程中，都是以固定的"属性指标"来描述他们，我们把这些称为 metric。监控系统就需要对每个环境的每一个指标都要进行数据的获取，并且按照用户需要的方式提供给用户来使用。

1.1.2 数据采集和传输

对于上面所说的Metric指标数据，我们不是说只要获取一次就可以了，而是需要持续性、周期性的方式来采集。根据数据采集方式的不同划分为了两个分类：

软件层面：

agent: 专用的软件的一种应用机制。

ssh: 系统常见的一种应用通信机制，但是并非所有系统都支持。

SNMP: 简单网络管理协议(Simple Network Management Protocol),是工作在各种网络设备中的一种机制。

硬件层面：

IPMI: 智慧平台管理接口(Intelligent Platform Management Interface)是一种工业标准用于采集硬件设备的各种物理健康状态数据，如温度、电压、风扇工作状态、电源状态等。

注意：由于每个业务场景，我们需要采集的指标量不好评估，甚至一个业务场景，就需要采集数百个指标，如果按照上述所说的周期性采集的方式来说，数据的采集量是相当大的

1.1.3 数据存储

由于我们采集到的"样本数据"，不是一次性使用的，尤其是单个数据是没有意义的，我们需要将这些数据存储下来，在后续的工作场景中进行聚合操作，从而来满足我们的需求。所以这些数据的存储也是一个非常重要的点。同时，我们在后续使用这些数据的时候，不仅仅要知道这些数据，还要知道这些数据的时间属性--什么时候的数据。所以这些数据在存储的时候，必须有一个重要的时间维度。 所以我们一般将这种用于监控场景的数据，称为时间序列数据 - TS(Time series data),专门用于存储这些数据的数据库，称其为时序数据库(TSDB Time series database)

时序列数据库是用来存储时序列（time-series）数据并以时间（点或区间）建立索引的软件

一般时序列数据都具备以下特点

• 数据结构简单：某一度量指标在某一时间点只会有一个值，没有复杂的结构（嵌套、层次等）和关系（关联、主外键等）

• 数据量大：由于时序列数据由所监控的大量数据源来产生、收集和发送，比如主机、IoT设备、终端或App等

1.1.4 数据处理

如果仅仅采集到的是单条数据，本身没有太大的意义，我们需要对数据进行各种聚合和处理操作才可以正常的用于工作分析场景。所以对于各种聚合操作之后的数据，我们也需要进行分析和展示

1.1.5 数据分析展示

无论是采集到的时序数据，还是经过聚合分析之后的统计数据，由于数据量巨大,用肉眼观察很难能够看得情楚，尤其是通过表格来查看成千上万条数据，来分析其内在的逻辑趋势关系更是如此。所以，对于监控系统来说，其本身的数据可视化功能是非常重要的，以各种图形演示的方式展示我们数据的发展趋势，方便我们进行分析。

1.1.6 告警

作为人是有休息的时候，有打盹的时候，不可能时时刻刻处于精神紧张的状态，所以我们需要在某些特殊情况下，提醒我们去看相关的数据，所以我们就需要根据日常工作中采集到的数据，来分析出正常的状态值，然后将其作为一个阈值指标。接下来在后续数据采集的时候，让实时的数据，与阈值进行比较，一旦超出我们的阈值判断机制，就通过告警机制通知给我们。提高我们的工作效率。

采集到的数据达到一定的条件,比如磁盘空间满等,应该自动触发告警提示,比如:微信,邮件,短信等,方便及时发现问题并解决

1.2 监控内容

1.2.1 资源数据

硬件设备：服务器、路由器、交换机、IO系统等

系统资源：OS、网络、容器、VM实例

应用软件：Nginx、MySQL、Java应用等

1.2.2 业务服务

业务状态：服务通信、服务运行、服务下线、性能指标、QPS、DAU(Daily Active User )日活、转化率、业务接口(登陆，注册，聊天，留⾔)、产品转化率、充值额度、⽤户投诉等

一般故障：访问缓慢、存储空间不足，数据同步延迟，主机宕机、主机不可达

严重故障：服务不可用、集群故障

1.2.3 趋势分析

数据统计：时间序列数据展示历史数据等

数据预测：事件什么时候发生、持续时间、发生概率是多大等,比如:电商大促时间

1.3 监控设施实现方式

对于Linux系统来说，它的系统监控的实现方式很多，主要有系统命令、开源软件、监控平台等

1.3.1 系统命令

1.3.2 开源软件

对于传统的业务数据监控来说，Zabbix 是优秀的，由于 Zabbix 诞生的时代业务数据量相对不是太多， 所以它默认采取的是关系型数据库作为后端存储。

所以随着业务场景的发展，尤其是微服务、云原生场景的发展，大量数据的存储就成为了 Zabbix 本身的限制。所以就出现了另外一种监控软件 Prometheus。

1.3.3 监控平台

一些云服务商提供了监控平台可以实现监控功能

1.4 时序数据库

1.4.1 什么是序列数据

参考资料：https://db-engines.com/en/ranking/time+series+dbms

时间序列数据(TimeSeries Data) : 按照时间顺序记录系统、设备状态变化的数据被称为时序数据。

时序数据库记录的数据以时间为横座标,纵坐标为其它数据

时间序列数据库 (Time Series Database , 简称 TSDB) 是一种高性能、低成本、稳定可靠的在线时间序列数据库服务，提供高效读写、高压缩比存储、时序数据插值及聚合计算等服务，广泛应用于物联网 （IoT）设备监控系统、企业能源管理系统（EMS）、生产安全监控系统和电力检测系统等行业场景；除此以外，还提供时空场景的查询和分析的能力。

TSDB 具备秒级写入百万级时序数据的性能，提供高压缩比低成本存储、预降采样、插值、多维聚合计算、可视化查询结果等功能，解决由设备采集点数量巨大、数据采集频率高造成的存储成本高、写入和查询分析效率低的问题。

TSDB是一个分布式时间序列数据库，具备多副本高可用能力。同时在高负载大规模数据量的情况下可以方便地进行弹性扩容，方便用户结合业务流量特点进行动态规划与调整。

应用的场景很多：

• 物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障诊断。

• 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。

• 系统运维和业务实时监控,通过对大规模应用集群和机房设备的监控，实时关注设备运行状态、资源利用率和业务趋势，实现数据化运营和自动化开发运维。

1.4.2 时间序列数据特点

• 大部分时间都是顺序写入操作，很少涉及修改数据

• 删除操作都是删除一段时间的数据，而不涉及到删除无规律数据

• 读操作一般都是升序或者降序

• 高效的压缩算法，节省存储空间，有效降低 IO,存储成本低

• TSDB 使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低 90%存储使用空间，同时加快数据写入的速度。

• 高性能读写, 每秒百万级数据点写入，亿级数据点聚合结果秒级返回

1.5 Prometheus 简介

1.5.1 Prometheus 简介

Prometheus 是一个开源的系统监控和报警系统，它启发于 Google 的 borgmon 监控系统，在一定程度上可以理解为，Google BorgMon监控系统的开源版本。 该软件由工作在 SoundCloud 的 google 前员工在 2012 年创建，作为社区开源项目进行开发，并于 2015 年正式发布。2016 年，Prometheus 正式加入 CNCF(Cloud Native Computing Foundation)，成为继 Kubernetes之后第二个在CNCF托管的项目, 现已广泛用于在容器和微服务领域中得到了广泛的应用，当然不仅限于此

云原生: https://landscape.cncf.io/

Prometheus 本身基于Go语言开发的一套开源的系统监控报警框架和时序列数据库(TSDB)。

Prometheus 的监控功能很完善和全面，性能也足够支撑上万台规模的集群。

网站：https://prometheus.io/

github：https://github.com/prometheus

其特点主要如下：

• 支持多维数据模型：由度量名和键值对组成的时间序列数据

• 内置时间序列数据库TSDB(Time Series Database )

• 支持PromQL(Prometheus Query Language)查询语言，可以完成非常复杂的查询和分析，对图表展示和告警非常有意义

• 支持 HTTP 的 Pull 方式采集时间序列数据

• 支持 PushGateway 采集瞬时任务的数据

• 支持静态配置和服务发现两种方式发现目标

多种可视化和仪表盘,支持第三方 Dashboard,比如:Grafana

数据特点

• 监控指标，采用独创的指标格式，我们称之为Prometheus格式，这个格式在监控场景中很常见。 数据标签，支持多维度标签，每个独立的标签组合都代表一个独立的时间序列

• 数据处理，Prometheus内部支持多种数据的聚合、切割、切片等功能。

• 数据存储，Prometheus支持双精度浮点型数据存储和字符串

适用场景

Prometheus 非常适合记录任何纯数字时间序列。它既适合以机器为中心的监控场景，也适合于高度动态的面向服务的体系结构的监控场景。尤其是在微服务世界中，它对多维数据收集和查询的支持是一种特别的优势。

Prometheus的设计旨在提高可靠性，使其成为中断期间要使用的系统，以使您能够快速诊断问题。每个Prometheus服务器都是独立的，而不依赖于网络存储或其他远程服务。当基础结构的其他部分故障时，您可以依靠它，并且无需设置广泛的基础结构即可使用它。

由于Prometheus重视可靠性。在故障情况下，我们可以查看有关系统的可用统计信息。但是如果您需要100％的准确性，则Prometheus并不是一个不错的选择，因为所收集的数据可能不会足够详细和完整。在这种情况下，最好使用其他系统来收集和分析数据以进行计费，并使用Prometheus进行其余的监视。

Prometheus 不足

• 不支持集群化

• 被监控集群规模过大后本身性能有一定瓶颈

• 中文支持不好中文资料也很少

1.5.2 Prometheus 架构

官方文档:

https://prometheus.io/docs/
https://prometheus.io/docs/introduction/overview/

1.5.2.1 数据获取逻辑

Prometheus 同其它TSDB相比有一个非常典型的特性：它主动从各Target上“拉取（pull)”数据，相当于 Zabbix里的被动模式,而非等待被监控端的“推送（push）”；

两个方式各有优劣，其中，Pull模型的优势在于：集中控制：有利于将配置集在 Prometheus Server上完成，包括指标及采取速率等,Prometheus的根本目标在于收集在Target上预先完成聚合的聚合型数据，而非一款由事件驱动的存储系统

1.5.2.2 Prometheus 架构

Prometheus 的主要模块包括：

prometheus :

时序数据存储、监控指标管理

可视化:

Prometheus web UI : 集群状态管理、promQL

Grafana:非常全面的可视化套件

数据采集

Exporter: 为当前的客户端暴露出符合 Prometheus 规格的数据指标,Exporter 以守护进程的模式运行井开始采集数据,Exporter 本身也是一个http_server 可以对http请求作出响应返回数据 (K/V形式的metrics)

Pushgateway : 拉模式下数据的采集工具

监控目标

服务发现 :文件方式、dns方式、console方式、k8s方式

告警:

alertmanager

Prometheus 由几个主要的软件组件组成，其职责概述如下。

在上诉的组件中，大多数都是用Go编写的，因此易于构建和部署为静态二进制文件。

1.5.2.3 工作流程

• Prometheus server 定期从配置好的 jobs 或者 exporters 中拉 metrics，或者接收来自 Pushgateway 发过来的 metrics，或者从其他的 Prometheus server 中拉 metrics。

• Prometheus server 在本地存储收集到的 metrics，并运行已定义好的 alert.rules，记录新的时间序列或者向 Alertmanager 推送警报，实现一定程度上的完全冗余功能。

• Alertmanager 根据配置文件，对接收到的警报进行去重分组，根据路由配置，向对应主机发出告警。

集成Grafana或其他API作为图形界面，用于可视化收集的数据。

1.5.2.4 生态组件

Prometheus 只负责时序型指标数据的采集及存储

其它的功能,如: 数据的分析、聚合及直观展示以及告警等功能并非由Prometheus Server所负责,需要配合其它组件实现

支持丰富的 Exporter 实现各种应用的监控

https://prometheus.io/docs/instrumenting/exporters/

1.5.3 Prometheus 数据模型

Prometheus中存储的数据为时间序列，即基于同一度量标准或者同一时间维度的数据流。除了时间序列数据的正常存储之外，Prometheus还会基于原始数据临时生成新的时间序列数据，用于后续查询的依据或结果。

每个时间序列都由metric名称(表示某项指标)和标签(键值对形式,表示属性,其为可选项)组合成唯一标识。

1.5.3.1 Metric 名字

• 该名字必须有意义，用于表示 metric 的一般性功能，例如：http_requests_total 表示 http 请求的总数。

• metric 名字由 ASCII 字符，数字，下划线，以及冒号组成，且必须满足正则表达式 [a - zA - Z_:][a - zA - Z0 - 9_:]* 的 查询需求。

注意：冒号是为用户定义的记录规则保留的。

1.5.3.2 标签

• 标签是以键值对的样式而存在，不同的标签用于表示时间序列的不同维度标识

• 基本格式：

<metric name>{<label name>=<label value>, …}

#示例样式：

http_requests_total{method="POST",endpoint="/api/tracks"}
解析： http_requests_total{method="POST"} 表示所有 http 请求中的 POST 请求，
endpoint="/api/tracks"表示请求的url地址是/api/tracks。当method="GET"时，则为新的
一个 metric

• 标签中的键名由 ASCII 字符，数字，以及下划线组成，且必须满足正则表达式 [a-zA-Z_:][a-zA-Z09_:]*。以__开头的标签名称保留供内部使用

标签值可以包含任何Unicode字符，标签值为空的标签被认为等同于不存在的标签

查询语言允许基于这些维度进行过滤和聚合。更改任何标签值，包括添加或删除标签，都会创建一个新的时间序列。

1.5.3.3 指标类型

Prometheus客户端库提供了四种核心度量标准类型。

官方说明

https://prometheus.io/docs/concepts/metric_types/

说明

1.5.3.4 数据格式

Prometheus 数据格式，本质上就是将收集的数据转化为对应的文本格式，并提供 http 请求。 Exporter 收集的数据转化的文本内容以行 (\n) 为单位，空行将被忽略, 文本内容最后一行为空行文本内容，如果以 # 开头通常表示注释。

以 # HELP 开头表示 metric 帮助说明。

以 # TYPE 开头表示定义 metric 类型，包含 counter, gauge, histogram, summary, 和 untyped 类型。 其他表示一般注释，供阅读使用，将被 Prometheus 忽略。

1.5.3.5 任务和实例

用Prometheus术语来说，一个单独 scrape(:)的目标称为instance，通常对应于单个进程。 一组同种类型的 instances集合称为jobs，主要用于保证可扩展性和可靠性。

例如,一个 API 服务 job 包含四个 instances:

job: api-server
instance 1: 1.2.3.4:5670
instance 2: 1.2.3.4:5671
instance 3: 5.6.7.8:5670
instance 4: 5.6.7.8:5671

对于任务实例来说，他们还可以借助于特殊的字符串来表示通用的功能，常见的使用样式如下：

#判断任务是否健康，1代表正常，0代表不正常
up{job="<job-name>", instance="<instance-id>"}
#获取任务的持续时间

scrape_duration_seconds{job="<job-name>", instance="<instance-id>"}

# 任务执行后剩余的样本数

scrape_samples_post_metric_relabeling{job="<job-name>", instance="<instance-
id>"}

# 暴露的样本数量

scrape_samples_scraped{job="<job-name>", instance="<instance-id>"}

# 样本的大概数量

scrape_series_added{job="<job-name>", instance="<instance-id>"}

总结

数据模型：metric名称+标签

数据类型：Counter+Gauge+Histogram+Summary

• 任务：多个instances组成一个jobs

1.5.4 Prometheus 数据处理

1.5.4.1 数据获取

这些metric数据，是基于HTTP call方式来进行获取的，从对方的配置文件中指定的网络端点(endpoint, 即IP:Port,表示一个应用)上周期性获取指标数据。每一个端点上几乎不可能只有一个数据指标。

根据上面的了解，这些指标都必须以http的方式暴露出来，而这也是，prometheus无法直接获取内核等相关数据的原因，只能借助于其他的机制才可以。prometheus默认支持通过三种类型的途径从目标上“抓取（Scrape）”指标数据；

1.5.4.2 数据存储

Prometheus 采用的是time-series(时间序列)的方式以一种自定义的格式存储在本地硬盘上

Prometheus的本地T-S(time-series)数据库以每两小时为间隔分成block为单位存储，每一个Block中又分为多个Chunk文件

Chunk是作为存储的基本单位,用来存放采集过来的数据的T-S数据,包括metadata和索引文件(index)。 Index文件是对metrics(对应一次KV采集数据)和 labels(标签)进行索引之后存储在chunk文件中

Prometheus平时是将采集过来的数据先都存放在内存之中, 以类似缓存的方式用于加快搜索和访问。

Prometheus提供一种保护机制叫做WAL( Write-Ahead Logging )可以将数据存入硬盘中的chunk文件， 当出现宕机时，重新启动时利用此日志系统来恢复加载至内存

[root@prometheus ~]#tree /usr/local/prometheus/data
/usr/local/prometheus/data
├── 01G9RSD61ZEF16T5YGE91K49MZ
│   ├── chunks
│   │   └── 000001
│   ├── index
│   ├── meta.json
│   └── tombstones
├── 01G9RZ8VXF2FHHB18CW0594P8T
│   ├── chunks
│   │   └── 000001
│   ├── index
│   ├── meta.json
│   └── tombstones
├── chunks_head
│   ├── 000002
│   └── 000003
├── lock
├── queries.active
└── wal
    ├── 00000000
    ├── 00000001
    └── 00000002
6 directories, 15 files

1.5.4.3 数据分析

Prometheus提供了内置的数据查询语言PromQL（全称为Prometheus Query Language），支持用户进行实时的数据查询及聚合操作；

PromQL支持处理两种向量，并内置提供了一组用于数据处理的函数

即时向量：在最近一次的单个时间戳上采集和跟踪的数据指标,即时间点数据时间范围向量：指定时间范围内的所有时间戳上的数据指标,即时间段数据

1.5.4.4 数据告警

抓取到异常值后，Prometheus支持通过告警（Alert）机制向用户发送反馈或警示，以触发用户能够及时采取应对措施；但是Prometheus Server仅负责生成告警指示，具体的告警行为由另一个独立的应用程序 AlertManager负责

• 告警指示由Prometheus Server基于用户提供的告警规则周期性计算生成

• Alertmanager接收到Prometheus Server 发来的告警指示后，基于用户定义的告警路由(route)向告警接收人发送告警信息；

2 Prometheus 部署和监控

Prometheus部署相关软件版本

为了更好的更全面的演示 Prometheus 功能，我们将相关的组件也安装起来，以实现业务环境的全监控，相关软件版本信息如下

2.1 部署 Prometheus

2.1.1 常见部署方式

包安装

RHEL系统: https://packagecloud.io/app/prometheus-rpm/release/search

Ubuntu和Debian可直接使用apt命令安装

二进制安装

https://prometheus.io/download/

基于 Docker 运行

https://prometheus.io/docs/prometheus/latest/installation/

基于 Kubernetes Operator 安装

https://github.com/coreos/kube-prometheus

2.1.2 Docker 镜像直接启动

[root@prometheus ~]#docker run  -d --name prometheus -p 9090:9090
prom/prometheus
#浏览器访问:http://prometheus服务器:9090/

2.1.3 二进制安装 Prometheus

2.1.3.1 下载二进制包并解压

官方下载: https://prometheus.io/download/

[root@prometheus local]#pwd
/usr/local/
[root@prometheus local]#wget
https://github.com/prometheus/prometheus/releases/download/v2.19.2/prometheus-
2.19.2.linux-amd64.tar.gz
[root@prometheus local]#ls -l prometheus-2.19.2.linux-amd64.tar.gz
-rw-r--r--1 root root 64152439 Jul  521:13 prometheus-2.19.2.linux-
amd64.tar.gz

[root@prometheus local]#tar xvf prometheus-2.19.2.linux-amd64.tar.gz
[root@prometheus local]#ln -s prometheus-2.19.2.linux-amd64 prometheus
[root@prometheus local]#cd prometheus/
[root@prometheus prometheus]#mkdir  bin conf data
[root@prometheus prometheus]#mv prometheus promtool bin/
[root@prometheus prometheus]#mv prometheus.yml conf/
[root@prometheus prometheus]#useradd -r -s /sbin/nologin prometheus
[root@prometheus prometheus]#chown -R prometheus.prometheus
/usr/local/prometheus/

[root@prometheus ~]#cat /etc/profile.d/prometheus.sh
exportPROMETHEUS_HOME=/usr/local/prometheus
exportPATH=${PROMETHEUS_HOME}/bin:$PATH

[root@prometheus ~]#source /etc/profile.d/prometheus.sh

#查看配置文件,默认可不修改
[root@prometheus ~]#grep -Ev "^ *#|^$" /usr/local/prometheus/conf/prometheus.yml
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is
every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is
every 1 minute.
alerting:
  alertmanagers:
- static_configs:
- targets:
rule_files:
scrape_configs:
- job_name: "prometheus"
    static_configs:
- targets: ["localhost:9090"]
#属性解析：主要是global和 scrape_configs 两部分的配置，在这里目前我们保持默认即可

#检查配置文件是否正确
[root@prometheus ~]#promtool check config
/usr/local/prometheus/conf/prometheus.yml
Checking /usr/local/prometheus/conf/prometheus.yml
  SUCCESS: 0 rule files found

2.1.3.2 创建 service 文件

[root@prometheus ~]#vim /lib/systemd/system/prometheus.service
[root@prometheus ~]#cat /lib/systemd/system/prometheus.service
[Unit]
Description=Prometheus Server
Documentation=https://prometheus.io/docs/introduction/overview/
After=network.target

[Service]
Restart=on-failure
User=prometheus
Group=prometheus
WorkingDirectory=/usr/local/prometheus/
ExecStart=/usr/local/prometheus/bin/prometheus --
config.file=/usr/local/prometheus/conf/prometheus.yml
ExecReload=/bin/kill -HUP$MAINPID
LimitNOFILE=65535

[Install]
WantedBy=multi-user.target

#配置解析：
#我们需要将定制的prometheus的配置文件和数据目录作为启动参数配置好
#其它的参数，可以基于prometheus --help 查看更多

[root@prometheus ~]#systemctl daemon-reload
[root@prometheus ~]#systemctl enable --now prometheus.service
[root@prometheus ~]#ss -tnlp |grep prometheus
LISTEN   0128                       *:9090                   *:*
users:(("prometheus",pid=84755,fd=10))

#结果显示：可以看到当前主机上可以看到一个端口9090，可通过下面地址看到prometheus的服务页面

范例: 查看prometheus命令选项

[root@prometheus ~]#/usr/local/prometheus/bin/prometheus --help
usage: prometheus [<flags>]
The Prometheus monitoring server
Flags:
-h, --help                     Show context-sensitive help (also try --help-
long and --help-man).
--version                  Show application version.
--config.file="prometheus.yml"
                                 Prometheus configuration file path.
--web.listen-address="0.0.0.0:9090"
                                 Address to listen on for UI, API, and
telemetry.
--web.config.file=""       [EXPERIMENTAL] Path to configuration file that
can enable TLS or authentication.
--web.read-timeout=5m      Maximum duration before timing out read of the
request, and closing idle connections.
--web.max-connections=512  Maximum number of simultaneous connections.
--web.external-url=<URL>   The URL under which Prometheus is externally
reachable (for example, if Prometheus is served via a
                                 reverse proxy). Used for generating relative
and absolute links back to Prometheus itself. If the
                                 URL has a path portion, it will be used to
prefix all HTTP endpoints served by Prometheus. If
                                 omitted, relevant URL components will be derived
automatically.
--web.route-prefix=<path>  Prefix for the internal routes of web
endpoints. Defaults to path of --web.external-url.
--web.user-assets=<path>   Path to static asset directory, available at
/user.
--web.enable-lifecycle     Enable shutdown and reload via HTTP request.
--web.enable-admin-api     Enable API endpoints for admin control actions.
--web.enable-remote-write-receiver
                                 Enable API endpoint accepting remote write
requests.
--web.console.templates="consoles"
                                 Path to the console template directory,
available at /consoles.
--web.console.libraries="console_libraries"
                                 Path to the console library directory.
--web.page-title="Prometheus Time Series Collection and Processing Server"
                                 Document title of Prometheus instance.
--web.cors.origin=".*"     Regex for CORS origin. It is fully anchored.
Example: 'https?://(domain1|domain2)\.com'
--storage.tsdb.path="data/"

                                 Base path for metrics storage. Use with server
mode only.
--storage.tsdb.retention=STORAGE.TSDB.RETENTION
                                 [DEPRECATED] How long to retain samples in
storage. This flag has been deprecated, use
"storage.tsdb.retention.time" instead. Use with
server mode only.
--storage.tsdb.retention.time=STORAGE.TSDB.RETENTION.TIME
                                 How long to retain samples in storage. When
this flag is set it overrides "storage.tsdb.retention".
                                 If neither this flag nor
"storage.tsdb.retention" nor "storage.tsdb.retention.size" is set, the
                                 retention time defaults to 15d. Units Supported:
y, w, d, h, m, s, ms. Use with server mode only.
--storage.tsdb.retention.size=STORAGE.TSDB.RETENTION.SIZE
                                 Maximum number of bytes that can be stored for
blocks. A unit is required, supported units: B, KB,
                                 MB, GB, TB, PB, EB. Ex: "512MB". Based on
powers-of-2, so 1KB is 1024B. Use with server mode only.
--storage.tsdb.no-lockfile
                                 Do not create lockfile in data directory. Use
with server mode only.
--storage.tsdb.allow-overlapping-blocks
                                 Allow overlapping blocks, which in turn enables
vertical compaction and vertical query merge. Use
                                 with server mode only.
--storage.tsdb.head-chunks-write-queue-size=0
                                 Size of the queue through which head chunks are
written to the disk to be m-mapped, 0 disables the
                                 queue completely. Experimental. Use with server
mode only.
--storage.agent.path="data-agent/"
                                 Base path for metrics storage. Use with agent
mode only.
--storage.agent.wal-compression
                                 Compress the agent WAL. Use with agent mode
only.

--storage.agent.retention.min-time=STORAGE.AGENT.RETENTION.MIN-TIME
                                 Minimum age samples may be before being
considered for deletion when the WAL is truncated Use with
                                 agent mode only.
--storage.agent.retention.max-time=STORAGE.AGENT.RETENTION.MAX-TIME
                                 Maximum age samples may be before being forcibly
deleted when the WAL is truncated Use with agent
                                 mode only.

--storage.agent.no-lockfile
                                 Do not create lockfile in data directory. Use
with agent mode only.
--storage.remote.flush-deadline=<duration>
                                 How long to wait flushing sample on shutdown or
config reload.
--storage.remote.read-sample-limit=5e7
                                 Maximum overall number of samples to return via
the remote read interface, in a single query. 0
                                 means no limit. This limit is ignored for
streamed response types. Use with server mode only.
--storage.remote.read-concurrent-limit=10

                                 Maximum number of concurrent remote read calls.
0 means no limit. Use with server mode only.
--storage.remote.read-max-bytes-in-frame=1048576
                                 Maximum number of bytes in a single frame for
streaming remote read response types before
                                 marshalling. Note that client might have limit
on frame size as well. 1MB as recommended by
                                 protobuf by default. Use with server mode only.
--rules.alert.for-outage-tolerance=1h
                                 Max time to tolerate prometheus outage for
restoring "for" state of alert. Use with server mode
                                 only.
--rules.alert.for-grace-period=10m
                                 Minimum duration between alert and restored
"for" state. This is maintained only for alerts with
                                 configured "for" time greater than grace period.
Use with server mode only.
--rules.alert.resend-delay=1m
                                 Minimum amount of time to wait before resending
an alert to Alertmanager. Use with server mode
                                 only.
--alertmanager.notification-queue-capacity=10000
                                 The capacity of the queue for pending
Alertmanager notifications. Use with server mode only.
--query.lookback-delta=5m  The maximum lookback duration for retrieving
metrics during expression evaluations and federation.
                                 Use with server mode only.
--query.timeout=2m         Maximum time a query may take before being
aborted. Use with server mode only.
--query.max-concurrency=20
                                 Maximum number of queries executed concurrently.
Use with server mode only.
--query.max-samples=50000000
                                 Maximum number of samples a single query can
load into memory. Note that queries will fail if they
                                 try to load more samples than this into memory,
so this also limits the number of samples a query
                                 can return. Use with server mode only.
--enable-feature= ...      Comma separated feature names to enable. Valid
options: agent, exemplar-storage,
                                 expand-external-labels, memory-snapshot-on-
shutdown, promql-at-modifier, promql-negative-offset,
                                 promql-per-step-stats, remote-write-receiver
(DEPRECATED), extra-scrape-metrics,
                                 new-service-discovery-manager, auto-gomaxprocs.
See
https://prometheus.io/docs/prometheus/latest/feature_flags/ for more details.
--log.level=info           Only log messages with the given severity or
above. One of: [debug, info, warn, error]
--log.format=logfmt        Output format of log messages. One of: [logfmt,
json]

2.1.3.3 测试访问

#浏览器访问:
http:/prometheus.wang.org:9090/

#浏览器访问:

http://prometheus.wang.org:9090/metrics

[root@prometheus ~]#curl http://localhost:9090/metrics
# HELP go_gc_duration_seconds A summary of the pause duration of garbage
collection cycles.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 3.3093e-05
go_gc_duration_seconds{quantile="0.25"} 6.2107e-05
go_gc_duration_seconds{quantile="0.5"} 9.2564e-05
go_gc_duration_seconds{quantile="0.75"} 0.000143356
go_gc_duration_seconds{quantile="1"} 0.002131003
go_gc_duration_seconds_sum 0.032219258
go_gc_duration_seconds_count 248
# HELP go_goroutines Number of goroutines that currently exist.
......

2.1.3.4 Dashboard 菜单说明

#一级目录解析
Alerts  #Prometheus的告警信息菜单
Graph   #Prometheus的图形展示界面，这是prometheus默认访问的界面
Status  #Prometheus的状态数据界面
Help    #Prometheus的帮助信息界面
#Status子菜单,在Status菜单下存在很多的子选项，其名称和功能效果如下：
Runtime & Build Information         服务主机的运行状态信息及内部的监控项基本信息
Command-Line Flags                  启动时候从配置文件中加载的属性信息
Configuration                       配置文件的具体内容(yaml格式)
Rules                               查询、告警、可视化等数据分析动作的规则记录
Targets                             监控的目标对象，包括主机、服务等以endpoint形式存在
Service Discovery                   自动发现的各种Targets对象列表

点击一级菜单Graph，该界面的基本功能分区样式如下

注意：

我们选择监控项的作用就是生成规则表达式，当然，规则表达式的功能远远超过选择监控项的功能。 但是这些定制采集数据的表达式，在刷新的时候，就没有了，这也是我们需要可视化插件的原因。 我们选择一个监控项"scrape_duration_seconds"，然后点击"Execute"，查看效果

2.1.3.5 优化配置

[root@prometheus ~]#/usr/local/prometheus/bin/prometheus --help

--web.read-timeout=5m #Maximum duration before timing out read of the request, and closing idle connections. 请求连接的最 ⼤ 等待时间 , 可以防 ⽌ 太多的空闲连接占 ⽤ 资源 --web.max-connections=512 #Maximum number of simultaneous connections. 最 ⼤ 链接数 --storage.tsdb.retention=15d #How long to retain samples in the

storage.prometheus开始采集监控数据后会存在内存中和硬盘中对于保留期限的设置,太长硬盘和内存都
吃不消,太短要查历史数据就没有了,企业中设置15天为宜,默认值为0

--storage.tsdb.path="data/" #Base path for metrics storage. 存储数据路径 , 建议独立分区 , 防止把根 ⽬ 录塞满 , 默认 data/ 目录

--query.timeout=2m #Maximum time a query may take before being aborted.此为默认值
2m

--query.max-concurrency=20#Maximum number of queries executed concurrently.此为默
认值20

查看配置

2.2 安装 Node Exporter

安装 Node Exporter 用于收集各 node 主机节点上的监控指标数据，监听端口为9100

官方下载: https://prometheus.io/download/

2.2.1 下载并解压

在需要监控的所有节点主机上进行安装

[root@node1 ~]#wget -P /usr/local/
https://github.com/prometheus/node_exporter/releases/download/v1.2.2/node_export
er-1.2.2.linux-amd64.tar.gz

[root@node1 ~]#cd /usr/local
[root@node1 local]#tar xvf node_exporter-1.2.2.linux-amd64.tar.gz
[root@node1 local]#ln -s node_exporter-1.2.2.linux-amd64  node_exporter
[root@node1 local]#cd node_exporter
[root@node1 node_exporter]#mkdir bin
[root@node1 node_exporter]#mv node_exporter bin/

2.2.2 准备 service 文件

[root@node1 ~]#vim /lib/systemd/system/node_exporter.service
[root@node1 ~]#cat /lib/systemd/system/node_exporter.service
[Unit]
Description=Prometheus Node Exporter
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/node_exporter/bin/node_exporter
ExecReload=/bin/kill -HUP$MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target

范例: 查看node_exporter命令选项

[root@ubuntu2004 ~]#node_exporter --help
usage: node_exporter [<flags>]
Flags:
-h, --help                     Show context-sensitive help (also try --help-
long and --help-man).
--collector.bcache.priorityStats
                                 Expose expensive priority stats.
--collector.cpu.guest      Enables metric node_cpu_guest_seconds_total
--collector.cpu.info       Enables metric cpu_info
--collector.cpu.info.flags-include=COLLECTOR.CPU.INFO.FLAGS-INCLUDE
                                 Filter the `flags` field in cpuInfo with a
value that must be a regular expression
--collector.cpu.info.bugs-include=COLLECTOR.CPU.INFO.BUGS-INCLUDE
                                 Filter the `bugs` field in cpuInfo with a value
that must be a regular expression
--collector.diskstats.ignored-devices="^(ram|loop|fd|(h|s|v|xv)d[a-
z]|nvme\\d+n\\d+p)\\d+$"
                                 Regexp of devices to ignore for diskstats.
--collector.ethtool.device-include=COLLECTOR.ETHTOOL.DEVICE-INCLUDE
                                 Regexp of ethtool devices to include (mutually
exclusive to device-exclude).
--collector.ethtool.device-exclude=COLLECTOR.ETHTOOL.DEVICE-EXCLUDE
                                 Regexp of ethtool devices to exclude (mutually
exclusive to device-include).
--collector.ethtool.metrics-include=".*"
                                 Regexp of ethtool stats to include.
--collector.filesystem.mount-points-
exclude="^/(dev|proc|run/credentials/.+|sys|var/lib/docker/.+)($|/)"
                                 Regexp of mount points to exclude for
filesystem collector.
--collector.filesystem.fs-types-exclude="^(autofs|binfmt_misc|bpf|cgroup2?
|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|iso9660|mqueue|nsfs|overlay|
proc|procfs|pstore|rpc_pipefs|securityfs|selinuxfs|squashfs|sysfs|tracefs)$"
                                 Regexp of filesystem types to exclude for
filesystem collector.
--collector.ipvs.backend-
labels="local_address,local_port,remote_address,remote_port,proto,local_mark"
                                 Comma separated list for IPVS backend stats
labels.
--collector.netclass.ignored-devices="^$"
                                 Regexp of net devices to ignore for netclass
collector.
--collector.netclass.ignore-invalid-speed
                                 Ignore devices where the speed is invalid. This
will be the default behavior in2.x.
--collector.netdev.device-include=COLLECTOR.NETDEV.DEVICE-INCLUDE
                                 Regexp of net devices to include (mutually
exclusive to device-exclude).
--collector.netdev.device-exclude=COLLECTOR.NETDEV.DEVICE-EXCLUDE
                                 Regexp of net devices to exclude (mutually
exclusive to device-include).

--collector.netdev.address-info

                                 Collect address-info for every device

--
collector.netstat.fields="^(.*_(InErrors|InErrs)|Ip_Forwarding|Ip(6|Ext)_(InOcte
ts|OutOctets)|Icmp6?

_(InMsgs|OutMsgs)|TcpExt_(Listen.*|Syncookies.*|TCPSynRetrans|TCPTimeouts)|Tcp_(
ActiveOpens|InSegs|OutSegs|OutRsts|PassiveOpens|RetransSegs|CurrEstab)|Udp6?
_(InDatagrams|OutDatagrams|NoPorts|RcvbufErrors|SndbufErrors))$"
                                 Regexp of fields to return for netstat
collector.
--collector.ntp.server="127.0.0.1"
                                 NTP server to use for ntp collector
--collector.ntp.protocol-version=4
                                 NTP protocol version
--collector.ntp.server-is-local
                                 Certify that collector.ntp.server address is not
a public ntp server
--collector.ntp.ip-ttl=1   IP TTL to use while sending NTP query
--collector.ntp.max-distance=3.46608s
                                 Max accumulated distance to the root
--collector.ntp.local-offset-tolerance=1ms
                                 Offset between local clock and local ntpd time
to tolerate
--path.procfs="/proc"      procfs mountpoint.
--path.sysfs="/sys"        sysfs mountpoint.
--path.rootfs="/"          rootfs mountpoint.
--collector.perf.cpus=""   List of CPUs from which perf metrics should be
collected
--collector.perf.tracepoint=COLLECTOR.PERF.TRACEPOINT ...
                                 perf tracepoint that should be collected
--collector.powersupply.ignored-supplies="^$"
                                 Regexp of power supplies to ignore for
powersupplyclass collector.
--collector.qdisc.fixtures=""
                                 test fixtures to use for qdisc collector end-
to-end testing
--collector.runit.servicedir="/etc/service"
                                 Path to runit service directory.
--collector.supervisord.url="http://localhost:9001/RPC2"
                                 XML RPC endpoint.
--collector.systemd.unit-include=".+"
                                 Regexp of systemd units to include. Units must
both match include and not match exclude to be
                                 included.
--collector.systemd.unit-exclude=".+\\.
(automount|device|mount|scope|slice)"
                                 Regexp of systemd units to exclude. Units must
both match include and not match exclude to be
                                 included.
--collector.systemd.enable-task-metrics
                                 Enables service unit tasks metrics
unit_tasks_current and unit_tasks_max
--collector.systemd.enable-restarts-metrics
                                 Enables service unit metric
service_restart_total
--collector.systemd.enable-start-time-metrics
                                 Enables service unit metric
unit_start_time_seconds

--collector.tapestats.ignored-devices="^$"
                                 Regexp of devices to ignore for tapestats.
--collector.textfile.directory=""
                                 Directory to read text files with metrics from.
--collector.vmstat.fields="^(oom_kill|pgpg|pswp|pg.*fault).*"
                                 Regexp of fields to return for vmstat
collector.
--collector.wifi.fixtures=""
                                 test fixtures to use for wifi collector metrics
--collector.arp            Enable the arp collector (default: enabled).
--collector.bcache         Enable the bcache collector (default: enabled).
--collector.bonding        Enable the bonding collector (default:
enabled).
--collector.btrfs          Enable the btrfs collector (default: enabled).
--collector.buddyinfo      Enable the buddyinfo collector (default:
disabled).
--collector.conntrack      Enable the conntrack collector (default:
enabled).
--collector.cpu            Enable the cpu collector (default: enabled).
--collector.cpufreq        Enable the cpufreq collector (default:
enabled).
--collector.diskstats      Enable the diskstats collector (default:
enabled).
--collector.dmi            Enable the dmi collector (default: enabled).
--collector.drbd           Enable the drbd collector (default: disabled).
--collector.drm            Enable the drm collector (default: disabled).
--collector.edac           Enable the edac collector (default: enabled).
--collector.entropy        Enable the entropy collector (default:
enabled).
--collector.ethtool        Enable the ethtool collector (default:
disabled).
--collector.fibrechannel   Enable the fibrechannel collector (default:
enabled).
--collector.filefd         Enable the filefd collector (default: enabled).
--collector.filesystem     Enable the filesystem collector (default:
enabled).
--collector.hwmon          Enable the hwmon collector (default: enabled).
--collector.infiniband     Enable the infiniband collector (default:
enabled).
--collector.interrupts     Enable the interrupts collector (default:
disabled).
--collector.ipvs           Enable the ipvs collector (default: enabled).
--collector.ksmd           Enable the ksmd collector (default: disabled).
--collector.lnstat         Enable the lnstat collector (default:
disabled).
--collector.loadavg        Enable the loadavg collector (default:
enabled).
--collector.logind         Enable the logind collector (default:
disabled).
--collector.mdadm          Enable the mdadm collector (default: enabled).
--collector.meminfo        Enable the meminfo collector (default:
enabled).
--collector.meminfo_numa   Enable the meminfo_numa collector (default:
disabled).
--collector.mountstats     Enable the mountstats collector (default:
disabled).
--collector.netclass       Enable the netclass collector (default:
enabled).

--collector.netdev         Enable the netdev collector (default: enabled).
--collector.netstat        Enable the netstat collector (default:
enabled).
--collector.network_route  Enable the network_route collector (default:
disabled).
--collector.nfs            Enable the nfs collector (default: enabled).
--collector.nfsd           Enable the nfsd collector (default: enabled).
--collector.ntp            Enable the ntp collector (default: disabled).
--collector.nvme           Enable the nvme collector (default: enabled).
--collector.os             Enable the os collector (default: enabled).
--collector.perf           Enable the perf collector (default: disabled).
--collector.powersupplyclass
                                 Enable the powersupplyclass collector (default:
enabled).
--collector.pressure       Enable the pressure collector (default:
enabled).
--collector.processes      Enable the processes collector (default:
disabled).
--collector.qdisc          Enable the qdisc collector (default: disabled).
--collector.rapl           Enable the rapl collector (default: enabled).
--collector.runit          Enable the runit collector (default: disabled).
--collector.schedstat      Enable the schedstat collector (default:
enabled).
--collector.sockstat       Enable the sockstat collector (default:
enabled).
--collector.softnet        Enable the softnet collector (default:
enabled).
--collector.stat           Enable the stat collector (default: enabled).
--collector.supervisord    Enable the supervisord collector (default:
disabled).
--collector.systemd        Enable the systemd collector (default:
disabled).
--collector.tapestats      Enable the tapestats collector (default:
enabled).
--collector.tcpstat        Enable the tcpstat collector (default:
disabled).
--collector.textfile       Enable the textfile collector (default:
enabled).
--collector.thermal_zone   Enable the thermal_zone collector (default:
enabled).
--collector.time           Enable the time collector (default: enabled).
--collector.timex          Enable the timex collector (default: enabled).
--collector.udp_queues     Enable the udp_queues collector (default:
enabled).
--collector.uname          Enable the uname collector (default: enabled).
--collector.vmstat         Enable the vmstat collector (default: enabled).
--collector.wifi           Enable the wifi collector (default: disabled).
--collector.xfs            Enable the xfs collector (default: enabled).
--collector.zfs            Enable the zfs collector (default: enabled).
--collector.zoneinfo       Enable the zoneinfo collector (default:
disabled).
--web.listen-address=":9100"
                                 Address on which to expose metrics and web
interface.
--web.telemetry-path="/metrics"
                                 Path under which to expose metrics.
--web.disable-exporter-metrics

                                 Exclude metrics about the exporter itself
(promhttp_*, process_*, go_*).
--web.max-requests=40      Maximum number of parallel scrape requests. Use
0 to disable.
--collector.disable-defaults
                                 Set all collectors to disabled by default.
--web.config=""            [EXPERIMENTAL] Path to config yaml file that
can enable TLS or authentication.
--log.level=info           Only log messages with the given severity or
above. One of: [debug, info, warn, error]
--log.format=logfmt        Output format of log messages. One of: [logfmt,
json]
--version                  Show application version.

2.2.3 启动 Node Exporter 服务

[root@node1 ~]#systemctl daemon-reload
[root@node1 ~]#systemctl enable --now node_exporter.service
[root@node1 ~]#systemctl is-active  node_exporter
active

[root@node1 ~]#ss -ntlp|grep node_exporter
LISTEN   0128                       *:9100                   *:*
users:(("node_exporter",pid=33761,fd=3))
#结果显示：可以看到当前主机上可以看到一个端口9100

2.2.4 访问 Node Exporter Web 界面

浏览器访问

http://node1.wang.org:9100/

2.3 Prometheus 采集 Node 数据

配置 prometheus 通过 node exporter 组件采集node节点的监控指标数据

2.3.1 修改 Prometheus 配置文件

[root@prometheus ~]#vim /usr/local/prometheus/conf/prometheus.yml
[root@prometheus ~]#grep -Ev '^ *#|^$' /usr/local/prometheus/conf/prometheus.yml
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is
every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is
every 1 minute.
alerting:
  alertmanagers:
- static_configs:
- targets:
rule_files:
scrape_configs:
- job_name: "prometheus"
    static_configs:
- targets: ["localhost:9090"]
- job_name: 'node_exporter'#添加以下行,指定监控的node exporter节点
    static_configs:
- targets: ['10.0.0.104:9100','10.0.0.105:9100','10.0.0.106:9100']
#- targets: ['10.0.0.107:9100']  或者以这种格式也也可以支持
#- targets: ['10.0.0.108:9100']
#属性解析：
#新增一个job_name 和 static_configs的属性
#targets 就是前面基本概念中提到的instance，格式就是"ip:port"
#检查语法
[root@prometheus ~]#promtool check config
/usr/local/prometheus/conf/prometheus.yml
#重启prometheus服务：
[root@prometheus ~]#systemctl restart prometheus

2.3.2 Prometheus 验证 Node 节点状态

浏览器访问如下地址

http://master1.wang.org:9090/targets

#结果显示：当我们把鼠标放到Labels部位的时候，就会将改target的属性信息标识出来，其中"__*"开头
的就是该对象的私有属性，当我们点击Endpoint的时候，就可以看到该node节点上的所有定制好的监控项。

2.3.3 Prometheus 验证 Node 节点监控数据

点上面页面的主机链接,可以直接跳转至对应节点的页面

2.4 Grafana 展示 Prometheus 数据

2.4.1 Grafana 简介

Grafana是一个开源的度量分析与可视化套件，它基于go语言开发。经常被用作基础设施的时间序列数据和应用程序分析的可视化，应用场景非常多。

Grafana不仅仅支持很多类型的时序数据库数据源，比如Graphite、InfluxDB、Prometheus、 Elasticsearch等，虽然每种数据源都有独立的查询语言和能力，但是Grafana的查询编辑器支持所有的数据源，而且能很好的支持每种数据源的特性。通过该查询编辑器可以对所有数据进行整合，而且还可以在同一个dashboard上进行综合展示。

尤其是Grafana最具特色的就是各种各样漂亮的可视化界面，在Grafana提供了各种定制好的，可以直接给各种软件直接使用的展示界面模板，

默认监听于TCP协议的3000端口，支持集成其他认证服务，且能够通过/metrics输出内建指标；

可以在 https://grafana.com/dashboards/ 页面查询到我们想要的各种dashboard模板。

2.4.2 Grafana 部署

Grafana官方下载链接

https://grafana.com/grafana/download

在prometheus服务器同时也安装grafana

#安装软件
[root@grafana ~]#wget https://dl.grafana.com/enterprise/release/grafana-
enterprise_8.2.1_amd64.deb
#从国内镜站下载
[root@grafana ~]#wget
https://mirrors.tuna.tsinghua.edu.cn/grafana/apt/pool/main/g/grafana/grafana_9.0
.6_amd64.deb
[root@grafana ~]#apt update
[root@grafana ~]#apt -y install ./grafana-enterprise_8.2.1_amd64.deb
#注意：这里安装的是本地文件，所以要加文件路径
#如果安装失败,解决依赖关系
[root@grafana ~]#apt -y --fix-broken install
#查看插件列表(此步可选)
[root@grafana ~]#grafana-cli plugins list-remote
#安装插件,如果安装失败,多试几次(此步可选)
[root@grafana ~]#grafana-cli plugins install grafana-piechart-panel
[root@grafana ~]#grafana-cli plugins ls
#启动服务
[root@grafana ~]#systemctl daemon-reload
[root@grafana ~]#systemctl enable --now  grafana-server.service
#检查效果
[root@grafana ~]#systemctl status   grafana-server.service
[root@grafana ~]#ss -ntulp|grep grafana
tcp     LISTEN   04096                   *:3000                 *:*
users:(("grafana-server",pid=35383,fd=8))
#结果显示：当前主机上出现了一个端口3000

2.4.3 配置 Prometheus 数据源

2.4.3.1 登录 Grafana Web

#浏览器访问 http://master1.wang.org:3000/，查看效果
#输入用户名和密码：admin/admin，就会进入到更改密码的页面，查看效果

输入更改后的密码后，此处为了方便还用原来的密码admin, 点击"Submit"后，就会进入到首页，查看效果

2.4.3.2 添加 Prometheus 的数据源

添加数据源: 点击 "Add your first data source"

选择 "Prometheus" 出现添加界面

按照如下配置信息，在Settings界面对Prometheus进行配置 ，效果如下

#注意：这里默认地址无法使用，将Prometheus的地址(10.0.0.101:9090或者localhost:9090)输入进
去，其它没有做任何变动。

其它信息不用设置，点击最下面的"Save & Test" 查看效果

2.4.3.3 使用数据源插件中内置的Dashboard

点Dashboards页签内的import,导入内置的三个模板

查看默认的三个模板

出现这种效果，就表明配置完毕了

2.4.4 导入指定模板展示 Node Exporter 数据

上面内置的模板不太理想,导入指定的网络上比较合适的 Dashboard 模板

2.4.4.1 登录 Grafana 官网查找模板

https://grafana.com/grafana/dashboards/

2.4.4.2 导入指定模板

导入8919和1860模板

点击"import",将"https://grafana.com/dashboards/8919或1860"添加到如下位置，点 Load 后效
果如下

#注意：选择dashboard的时候，一定要选择合适版本,否则会导致无法正常使用

然后就会自动将改dashboard资源显示出来，效果如下

#注意：一定要选择需要可视化的数据源。

在Prometheus Data Source右侧选择刚才配置的Prometheus数据源即可，然后点击"Import",查看效果

结果显示：一旦我们的node_exporter部署完毕后，节点的信息立刻就展示出来了。

如果看不到数据的话

• 没有安装节点监控 NodePort软件

浏览器的时间与服务器的时间误差超过3s以上

再次导入1860 模板

2.5 监控 Zookeeper

监控的指标可以通过下面方式提供

Prometheus 内置

应用内置的功能模块,比如: Zookeeper 额外的exporter,使用第三方开发的功能程序语言内置的功能代码,需要开发能力

2.5.1 安装和配置 Zookeeper

#安装zookeeper
略

#修改配置支持prometheus
[root@node3 ~]#vim /usr/local/zookeeper/conf/zoo.cfg
#在最后面加下面三行,默认带有下面三行只需要取消注释即可
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetr
icsProvider
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true
[root@node3 ~]#systemctl restart zookeeper.service

#浏览器访问:http://node1.wang.org:7000/metrics

2.5.2 修改 Prometheus 配置

[root@prometheus ~]#vim /usr/local/prometheus/conf/prometheus.yml

#在最后面加下面三行
- job_name: 'zookeeper'
    static_configs:
- targets: ['10.0.0.101:7000']

[root@prometheus ~]#systemctl restart prometheus.service

2.5.3 查看 Prometheus 的监控数据

浏览器访问:http://prometheus.wang.org:9090/targets

2.5.4 查看 Grafana 监控数据

访问下面地址,搜索zookeeper

https://grafana.com/grafana/dashboards/

访问grafana管理页面

http://prometheus.wang.org:3000/

导入dashboard的ID: 10465

点击 Load

点击 import

选择监控的源为zookeeper,就可以看到下面界面

2.6 Pushgateway 采集自定义数据

2.6.1 Pushgateway 介绍

官方连接

https://prometheus.io/docs/practices/pushing/

虽然有很多的Exporter提供了丰富的数据,但生产环境中仍需要采集用户自定义的数据,可以利用 Pushgateway实现

Pushgateway 是另⼀种采⽤客户端主动推送数据的⽅式,也可以获取监控数据的prometheus 插件

与exporter 不同, Exporter 是被动采集数据

它是可以单独运⾏在任何节点上的插件（并不⼀定要在被监控客户端）

⽤户⾃定义的脚本或程序将需要监控的数据推送给 Pushgateway ,然后prometheus server再向 pushgateway拉取数据

Pushgateway 缺点

• Pushgateway 会形成⼀个单点瓶颈，假如好多个应用同时发送给⼀个pushgateway的进程,如果这个进程没了，那么监控数据也就无法获取了

• Pushgateway 并不能对发送过来的数据进⾏更智能的判断,假如脚本中间采集出问题,那么有问题的数据 pushgateway⼀样照单全收发送给prometheus

2.6.2 安装 Pushgateway

[root@prometheus ~]#wget
https://github.com/prometheus/pushgateway/releases/download/v1.4.3/pushgateway-
1.4.3.linux-amd64.tar.gz

[root@prometheus ~]#tar xf pushgateway-1.4.3.linux-amd64.tar.gz  -C /usr/local/
[root@prometheus ~]#ln -s pushgateway-1.4.3.linux-amd64/ pushgateway
[root@prometheus ~]#ls /usr/local/pushgateway
LICENSE  NOTICE pushgateway
[root@prometheus ~]#mkdir /usr/local/pushgateway/bin
[root@prometheus ~]#mv /usr/local/pushgateway/pushgateway
/usr/local/pushgateway/bin
[root@prometheus ~]#ldd /usr/local/pushgateway/bin/pushgateway
不是动态可执行文件
[root@prometheus ~]#ln -s /usr/local/pushgateway/bin/pushgateway /usr/local/bin/
[root@prometheus ~]#pushgateway --help
usage: pushgateway [<flags>]
The Pushgateway
Flags:
-h, --help                     Show context-sensitive help (also try --help-
long and --help-man).
--web.config.file=""       [EXPERIMENTAL] Path to configuration file that
can enable TLS or authentication.
--web.listen-address=":9091"
                                 Address to listen on for the web interface,
API, and telemetry.
--web.telemetry-path="/metrics"
                                 Path under which to expose metrics.
--web.external-url=        The URL under which the Pushgateway is
externally reachable.
--web.route-prefix=""      Prefix for the internal routes of web
endpoints. Defaults to the path of --web.external-url.
--web.enable-lifecycle     Enable shutdown via HTTP request.
--web.enable-admin-api     Enable API endpoints for admin control actions.
--persistence.file=""      File to persist metrics. If empty, metrics are
only kept in memory.
--persistence.interval=5m  The minimum interval at which to write out the
persistence file.
--push.disable-consistency-check
                                 Do not check consistency of pushed metrics.
DANGEROUS.
--log.level=info           Only log messages with the given severity or
above. One of: [debug, info, warn, error]
--log.format=logfmt        Output format of log messages. One of: [logfmt,
json]
--version                  Show application version.
[root@prometheus ~]#pushgateway
ts=2022-08-06T14:55:02.911Z caller=main.go:85 level=info msg="starting
pushgateway"version="(version=1.4.3, branch=HEAD,
revision=f9dc1c8664050edbc75916c3664be1df595a1958)"

ts=2022-08-06T14:55:02.911Z caller=main.go:86 level=info build_context="
(go=go1.18.2, user=root@75e397dd33fe, date=20220530-19:02:00)"
ts=2022-08-06T14:55:02.913Z caller=main.go:139 level=info listen_address=:9091
ts=2022-08-06T14:55:02.914Z caller=tls_config.go:195 level=info msg="TLS is
disabled."http2=false

#准备service文件
[root@prometheus ~]#cat > /lib/systemd/system/pushgateway.service <<EOF
[Unit]
Description=Prometheus Pushgateway
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/pushgateway/bin/pushgateway
ExecReload=/bin/kill -HUP$MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF
#启动服务
[root@prometheus ~]#systemctl daemon-reload
[root@prometheus ~]#systemctl enable --now pushgateway.service

2.6.3 配置 Prometheus 收集 Pushgateway 数据

[root@prometheus ~]#vim /usr/local/prometheus/conf/prometheus.yml
- job_name: "pushgateway"
    static_configs:
- targets:
-"10.0.0.100:9091"
#支持文件形式的自动发现格式
- job_name: pushgateway
  honor_labels: true
  file_sd_configs:
- files:
- targets/pushgateway/*.json
    refresh_interval: 5m
#pushgateway目标:
[{"targets": ["pushgateway1.wang.org"]}]

#如果honor_labels设置为true，那么Prometheus将使用Pushgateway上的job和instance标签。如果
设置为false那么它将重命名这些值，在它们前面加上exported_前缀，并在服务器上为这些标签附加新值。

2.6.4 配置客户端发送数据给 Pushgateway

要推送一个度量，您需要使用以下URL路径定义向Pushgateway端点发送一个HTTP POST请求。 推送 Metric 格式

http://<pushgateway_address>:

<push_port>/metrics/job/<job_name>/[<label_name1>/<label_value1>]/[<label_nameN>
/<label_valueN>]

<job_name>将成为被推送的指标的标签作业的值，而<label_name>/<label_value〉对将成内额外的标签/值对。

删除 Metric 格式

#删除指定job_name中的所有metric
curl-X DELETE http://<pushgateway_address>:<push_port/metrics/job/<job_name>

#删除指定实例的metric

curl-x DELETE http://<pushgateway_address>:
<push_port/metrics/job/<job_name>/instance/<instance_name>

范例: 命令

#下面为发送一次数据,如果想周期性发送,可以通过cron或脚本循环实现
[root@ubuntu2004 ~]#echo "age 8" | curl --data-binary @-
http://pushgateway.wang.org:9091/metrics/job/pushgateway/instance/`hostname -I`
#说明
pushgateway.wang.org:9091  #安装为Pushgateway主机的IP和端口
pushgateway #Prometheus的job名称

`hostname -I`#取当前主机的IP为instance名称

范例: 通用脚本

#编定自定义的metric的脚本
[root@ubuntu2004 ~]#vim pushgateway_metric.sh
#!/bin/bash
#
#********************************************************************
#Author:            wangxiaochun
#QQ:                29308620
#Date:              2022-08-08
#FileName:          pushgateway_metric.sh
#URL:               http://www.wangxiaochun.com
#Description:       The test script
#Copyright (C):     2022 All rights reserved
#********************************************************************

METRIC_NAME=login_number
METRIC_VALUE="who | wc -l"

PUSHGATEWAY_HOST=pushgateway.wang.org:9091
EXPORTED_JOB=pushgateway_job
SLEEP_TIME=1

CURL_URL="curl --data-binary @-

http://${PUSHGATEWAY_HOST}/metrics/job/${EXPORTED_JOB}/instance/`hostname -I`"

action()  {
whiletrue ;do

VALUE=`eval "$METRIC_VALUE"`
echo"${METRIC_NAME}${VALUE}" |  $CURL_URL
sleep$SLEEP_TIME
done

}

action

[root@ubuntu2004 ~]#bash pushgateway_metric.sh

2.6.5 验证数据

3 Prometheus 配置和标签管理

3.1 配置文件说明

Prometheus可以通过命令行或者配置文件的方式对服务进行配置。

• 命令行方式一般用于不可变的系统参数配置，例如存储位置、要保留在磁盘和内存中的数据量等； 配置文件用于定义与数据动态获取相关的配置选项和文件等内容。

• 命令行方式的配置属性可以通过 prometheus -h 的方式来获取，这些配置属性主要在服务启动时候设置.

• 配置文件方式，需要在prometheus.yml 文件中修改配置属性，该配置文件的内容是以YAML格式编写的。

官方文档:

https://prometheus.io/docs/prometheus/latest/configuration/configuration/

默认情况下，Prometheus 的配置文件有四部分组成，效果如下：

]# egrep -v '^#|  #|^$' prometheus.yml
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default
is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is
every 1 minute.
# scrape_timeout is set to the global default (10s).

alerting:
  alertmanagers:

- static_configs:
- targets:
rule_files:
scrape_configs:
- job_name: 'prometheus'
    static_configs:
- targets: ['localhost:9090']

配置解析：

#核心配置：
global          #全局配置内容
alerting        #触发告警相关的配置，主要是与Alertmanager相关的设置。
rule_files      #各种各样的外置规则文件配置，包含了各种告警表达式、数据查询表达式等
scrape_configs  #监控项的配置列表，这是最核心的配置

#除了默认的四项配置之外，prometheus还有另外可选的其它配置如下
#扩展配置(8项)
tls_config、static_config、relabel_config、metric_relabel_configs、
alert_relabel_configs、alertmanager_config、remote_write、remote_read

#平台集成配置(12项)
azure_sd_config、consul_sd_config、dns_sd_config、ec2_sd_config、
openstack_sd_config、file_sd_config、gce_sd_config、kubernetes_sd_config、
marathon_sd_config、nerve_sd_config、serverset_sd_config、triton_sd_config

scrape_configs 管理

scrape_configs 是操作最多的一个配置段，它指定了一组监控目标及其细节配置参数，这些目标和参数描述了如何获取指定主机上的时序数据。配置样例如下：

scrape_configs:
- job_name: '<job_name>'
    static_configs:
- targets: [ '<host_ip:host_port>', ... ]
        labels: { <labelname>: <labelvalue> ... }
#配置解析：
#在一般情况下，一个scrape_configs配置需要指定一个或者多个job，根据我们之前对基本概念的了解，
每一个job都是一系列的instance集合，借助job我们可以将目标主机进行分组管理。
#对于job内部的每一个instance的配置，都需要借助于static_configs参数获取目标列表，只要在该列表
位置的目标，都可以被Prometheus动态服务自动发现。

#static_configs可以借助于 targets 以ip+port 方式发现目标，也可以使用labels以标签方式发现
目标。

语法检查

[root@prometheus ~]#promtool check config
/usr/local/prometheus/conf/prometheus.yml

3.2 标签简介

标签功能: 用于对数据分组和分类,利用标签可以将数据进行过滤筛选

标签的常见场景:

删除不必要的指标从指标中删除敏感或不需要的标签添加、编辑或修改指标的标签值或标签格式

标签分类：

默认标签: Prometheus 自身内置形式: __keyname__ 应用标签: 应用本身内置形式: keyname 自定义标签: 用户定义形式: keyname

范例: 添加主机节点

#编辑prometheus.yml配置文件
scrape_configs:
  ...
- job_name: "prometheus"
    static_configs:
- targets: ['10.0.0.101:9100']
- job_name: 'node_exporter'
    static_configs:
- targets: ['10.0.0.104:9100','10.0.0.105:9100','10.0.0.106:9100']
#- '10.0.0.104:9100'  #或者下面格式
#- '10.0.0.105:9100'
#- '10.0.0.106:9100'
#配置解析：static_configs 用于手工定制要监控的target
#重启服务
systemctl restart prometheus.service
#查看效果,可以看到如下的内置的标签

应用默认的标签如下形式

范例: 添加主机标签

#编辑prometheus.yml配置文件
[root@prometheus ~]#vim /usr/local/prometheus/conf/prometheus.yml
- job_name: 'node_exporter'
    static_configs:
- targets: ['10.0.0.104:9100','10.0.0.105:9100','10.0.0.106:9100']
      labels:
node: "worker node"
        type: "test"
- job_name: 'zookeeper'
    static_configs:
- targets: ['10.0.0.105:7000','10.0.0.106:7000']
      labels: {app: 'zookeeper', type: 'dev'}
#app: 'zookeeper'  #或者这种格式也支持
#type: 'dev'
#配置解析：labels: 的编写方法，在此处遵循 yaml的字典格式
#重启服务
[root@prometheus ~]#systemctl restart prometheus.service
#浏览器访问确认

3.3 标签管理

官方文档

https://prometheus.io/docs/prometheus/latest/configuration/configuration/#relabe
l_config

https://prometheus.io/docs/prometheus/latest/configuration/configuration/#metric
_relabel_configs

Prometheus对数据的处理流程是：

先从各目标节点上获取数据，然后对数据进行本地化处理，然后进行各种数据分析。这个流程中最核心的就是监控数据的本地化处理

在prometheus的配置选项中，有两个与监控指标密切相关的配置，relabel_config、 metric_relabel_configs，他们的作用就是监控目标上面的监控项进行标签管理和设置，便于在 prometheus上设置更灵活的时序数据。

标签主要有两种表现形式：

私有标签

私有标签以"__*"样式存在，用于获取监控目标的默认元数据属性，比如__address__用于获取目标的
地址，__scheme__用户获取目标的请求协议方法，__metrics_path__获取请求的url地址等

普通标签

对个监控主机节点上的监控指标进行各种灵活的管理操作，常见的操作有，删除不必要|敏感指标，添
加、编辑或者修改指标的标签值或者标签格式。

对于一些全局性的标签，可以在global部分通过属性来设置，效果如下：

global:
  ...
# 与外部系统通信时添加到任何时间序列或警报的标签
  external_labels:
    [ <labelname>: <labelvalue> ... ]

relabel_config、metric_relabel_configs 的使用格式基本上一致，虽然他们有很多配置，但是我们使用的最多的也就那么三四个。

#配置示例如下：
scrape_configs:
- job_name: 'prometheus'
    metric_relabel_configs:
- source_labels: [<labelname> [, ...]]
      regex: '<regex> | default = (.*)'
      replacement: '<string> | default = $1'
      target_label: '<labelname>'
      action: '<relabel_action> | default = replace'
#属性解析：
source_labels       #指定正则表达式匹配成功的Label进行标签管理
regex               #source_labels对应Label的匹配正则表达式的指定值
target_label        #在进行标签替换的时候，可以将原来的source_labels替换为指定修改后的
label
replacement         #替换标签时,指定label对应的值进行修改后的值
action              #对标签进行管理，常见的动作有replace|keep|drop|labelmap|labeldrop
等
#动作解析：
labeldrop  #删除regex匹配的标签label
labelkeep  #删除regex不匹配的标签label
labelmap   #将regex对所有的标签名进行匹配，而后将匹配到的标签的值赋给replacement字段指定的
标签名的值；通常用于取出匹配的标签名的一部分生成新标签,旧的标签仍会存在
replace    #此为默认值，通过regex匹配source_label的值，使用replacement来进行替换
keep       #从获取的监控数据中删除与regex不匹配的目标 source_labels
drop       #从获取的监控数据中删除与regex匹配的目标 source_labels

范例:

#删除示例
metric_relabel_configs:
- source_labels: [__name__]
  regex: 'node_network_receive.*'
  action: drop
#替换示例
metric_relabel_configs:
- source_labels: [id]
  regex: '/.*'
  replacement: '123456'
  target_label: replace_id

配置区别

relabel_config、metric_relabel_configs这两个配置虽然在作用上类似，但是他们还是有本质上的区别的，这些区别体现在两个方面：执行顺序和数据处理上。

区

别

解析

执 relabel_configs用与发现目标前的标签设置，也就是说在scrape_configs前生效，针对的行 target对象顺 metric_relabel_configs 作用于scrape_configs生效后，即针对target对象上的监控数据序

数据 metric_relabel_configs 是 prometheus 在保存数据前的最后一步标签重新编辑，默认情况处下，它将监控不需要的数据，直接丢掉，不在prometheus 中保存理

3.4 案例

范例: 将默认标签修改为定制新标签

#编辑prometheus.yml配置文件
[root@prometheus ~]#vim /usr/local/prometheus/conf/prometheus.yml
scrape_configs:
  ...
- job_name: 'k8s-node'
    static_configs:
- targets: ['10.0.0.104:9100','10.0.0.105:9100','10.0.0.106:9100']
    relabel_configs:
- source_labels:
- __scheme__
- __address__
- __metrics_path__
      regex: "(http|https)(.*)"
      separator: ""
      target_label: "endpoint"
      replacement: "${1}://${2}"
      action: replace
#配置解析：separator 是设定拼接的时候用到的分隔符，我们这里不用设置任何符号
#重启服务
[root@prometheus ~]#systemctl restart prometheus.service
#浏览器查看效果
#结果显示：基于默认的属性重写了一个新的标签。

范例: 基于已存在的标签匹配，然后进行删除

#编辑prometheus.yml配置文件
[root@prometheus ~]#vim /usr/local/prometheus/conf/prometheus.yml
scrape_configs:
  ...
    static_configs:
- targets: ["localhost:9090"]
- job_name: 'k8s-node'
    static_configs:
- targets: ['10.0.0.104:9100','10.0.0.105:9100','10.0.0.106:9100']
      labels: {app: 'k8s-node'}
    relabel_configs:
- source_labels:
- __scheme__
- __address__
- __metrics_path__
      regex: "(http|https)(.*)"
      separator: ""
      target_label: "endpoint"
      replacement: "${1}://${2}"
      action: replace
- regex: "(job|app)"#加下面三行,所有名为job或app的标签修改标签名称,但旧的
标签还会存在
      replacement: ${1}_name
      action: labelmap
- regex: "(job|app)"#加下面两行,则删除旧的标签,注意上面修改和此删除的前后顺
序
      action: labeldrop

#配置解析：第一条规则基于现有的匹配内容重写标签名称，第二条规则，删除旧标签的名称
#重启服务
[root@prometheus ~]#systemctl restart prometheus.service
#查看效果
#如下结果显示：第二条规则中，匹配到的标签就移除掉了

4 PromQL

4.1 指标数据

4.1.1 数据基础

时间序列数据：

• 按照时间顺序记录系统、设备状态变化的数据，每个数据称为一个样本

• 数据采集以特定的时间周期进行，随着时间将这些样本数据记录下来，将生成一个离散的样本数据序列,该序列也称为向量（Vector）

• 将多个序列放在同一个坐标系内（以时间为横轴，以序列为纵轴），将形成一个由数据点组成的矩阵

Prometheus基于指标名称（metrics name）以及附属的标签集（labelset）唯一定义一条时间序列

• 指标名称代表着监控目标上某类可测量属性的基本特征标识

• 标签则是这个基本特征上再次细分的多个可测量维度

4.1.2 数据模型

Prometheus中，每个时间序列都由指标名称（Metric Name）和标签（Label）来唯一标识，格式为

<metric name>{<label name>=<label value>, …}”；

• 指标名称：通常用于描述系统上要测定的某个特征

• 支持使用字母、数字、下划线和冒号，且必须能匹配RE2规范的正则表达式

• 例如，http_requests_total表示接收到的HTTP请求总数

• 标签：键值型数据，附加在指标名称之上，从而让指标能够支持多纬度特征；此为可选项

• 标签名称可使用字母、数字和下划线，且必须能匹配RE2规范的正则表达式

• 以“__”为前缀的名称为Prometheus系统预留使用

例如: 下面代表着两个不同的时间序列

http_requests_total{method=GET}
http_requests_total{method=POST}

Metric Name的表示方式有两种,其中后一种通常用于Prometheus内部，效果如下

样本数据

Prometheus的每个数据样本由两部分组成

float64格式的数据

毫秒精度的时间戳

注意事项

指标名称和标签的特定组合代表着一个时间序列

• 指标名称相同，但标签不同的组合分别代表着不同的时间序列不同的指标名称自然更是代表着不同的时间序列

PromQL支持基于定义的指标维度进行过滤和聚合

• 更改任何标签值，包括添加或删除标签，都会创建一个新的时间序列

• 应该尽可能地保持标签的稳定性，否则，则很可能创建新的时间序列，更甚者会生成一个动态的数据环境，并使得监控的数据源难以跟踪，从而导致建立在该指标之上的图形、告警及记录规则变得无效

4.2 查询基础

4.2.1 PromQL简介

Prometheus 提供一个内置的函数式的表达式语言PromQL(Prometheus Query Language)，可以使用户实时地查找和聚合时间序列数据。表达式计算结果可以在图表中展示，也可以在Prometheus表达式浏览器中以表格形式展示，或者作为数据源, 以HTTP API的方式提供给外部系统使用。

注意：默认情况下，是以当前时间为基准点，来进行数据的获取操作

4.2.2 表达式形式

官方文档

https://prometheus.io/docs/prometheus/latest/querying/basics/

表达式: 每一个PromQL其实都是一个表达式，这些语句主要有四种存在样式：

• 数据类型

  • instant vector 瞬时数据

在某一时刻，抓取的所有监控项数据。这些度量指标数据放在同一个key中。

• range vector 范围数据

• 在某一个时间段内，抓取的所有监控项数据。

• 数据格式

  • scalar 标量

  • 一个简单的浮点类型数值

  • string 字符串

  • 一个之前没有被使用的简单字符串

日常图形展示中用到的数据就是基于上面四种样式组合而成的综合表达式,效果如下

PromQL的查询操需要针对有限个时间序列上的样本数据进行，挑选出目标时间序列是构建表达式时最为关键的一步,然后根据挑选出给定指标名称下的所有时间序列或部分时间序列的即时（当前）样本值或至过去某个时间范围内的样本值。

基本语法

对于PromQL来说，以下的几个基础知识是我们必须掌握和熟练应用的

数值

对于数值来说，主要记住两种类型的数值：字符串和数字。

字符串

字符串可以用单引号，双引号或反引号指定为文字，如果字符串内的特殊符号想要生效，我们可以使用反引
号。
"this is a string"
'these are unescaped: n  t'
`these are not unescaped: n ' " t`

数字

#对于数据值的表示，可以使用我们平常时候的书写方法 "[-](digits)[.(digits)]"
2、2.43、-2.43等

4.2.3 数据选择器

所谓的数据选择器，其实指的是获取实时数据或者历史数据的一种方法

样式：

metrics_name{筛选label=值,...}[<时间范围>] offset <偏移>

它主要以下几种分类：

实时选择器 ：

获取及时的一组时间序列和单个样本值，根据数据的精确度，可以有以下几种使用方法：

根据监控项名称获取最新值

node_filefd_allocated
prometheus_http_requests_total

• 通过{key=value,}样式获取符合条件的数据值

prometheus_http_requests_total{instance="localhost:9090", job="prometheus"}
prometheus_http_requests_total{handler=~".*meta.*"}

#属性解析：
多个条件间可以使用逗号","隔开，每个条件内部可以通过多种符号，表示不同含义
=(精确匹配)、!=(不匹配)、=~(正则匹配)、!~(正则不匹配)
如果条件中存在多值，可以使用"|"表示或的意思，env=~"staging|testing|development"
条件中必须包含一个与空标签值不匹配的选择器，不能写成{job=~".*"}

node_memory_MemFree_bytes{instance=~"10.0.0.(101|102):9100"}

#注意：指标 prometheus_http_requests_total 默认情况下，针对的是 localhost:9090 的
target，其他无效

通过 __name__ 匹配多个监控项的名称

{__name__="prometheus_http_requests_total"}
{__name__=~"^prometheus.*"}

范围选择器

工作方式与瞬时向量选择器一样，区别在于时间范围长一些，主要是在瞬时选择器多了一个[]格式的时间范围后缀，在[]内部可以采用多个单位表示不同的时间范围，比如s(秒)、m(分)、h(时)、d(日)、 w(周)、y(年)。

prometheus_http_requests_total{job="prometheus"}[5m]

#属性解析：这表示过去5分钟内的监控数据值，这些数据一般以表格方式展示，而不是列表方式展示

注意：范围向量选择器返回的是一定时间范围内的数据样本，虽然不同时间序列的数据抓取时间点相同，但它们的时间戳并不会严格对齐

多个Target上的数据抓取需要分散在抓取时间点前后一定的时间范围内，以均衡Prometheus Server的负载

因而，Prometheus在趋势上准确，但并非绝对精准

偏移修饰符

范围选择器可以获取最近时间段的数据，而对于某个历史时间段中的数据，就需要通过offset时间偏移的方式来进行获取了。

prometheus_http_requests_total offset 5m
prometheus_http_requests_total{code="200"} offset 5m
prometheus_http_requests_total{handler="/metrics"}[5m] offset 3m

#注意：offset与数据选择器是一个整体，不能分割，offset 偏移的是时间点
如果既有偏移又有范围,先偏移后再取范围,如[5m] offset 3m 表示取当前时间的3分钟前的5m范围的值

4.3 查询语法格式

对于PromQL来说，它的操作符号主要有以下两类：

二元运算符

聚合运算

4.3.1 二元运算符

对于二元运算符来说，它主要包含三类：算术、比较、逻辑，作用效果与我们平常使用的效果一致。

#算术运算符：+、-、*、/、%、^
#比较运算符：==、!=、=~、!~>、<、>=、<=
#逻辑运算符：and、or、unless 目前该运算符仅允许在两个即时向量之间进行操作，不支持标量(标量只有
一个数字，没有时序)参与运算

#运算符优先级：
1 ^
2 *, /, %
3+, -
4==, !=, <=, <, >=, >
5 and, unless
6 or
#注意：二元运算符是prometheus进行数据可视化或者数据分析操作的时候，应用非常多的一种功能。

简单示例：

#单位换算
node_memory_MemFree_bytes / (1024 * 1024)

#可用内存占用率

node_memory_MemAvailable_bytes/node_memory_MemTotal_bytes * 100

#内存使用率

(node_memory_MemTotal_bytes - node_memory_MemFree_bytes) /
node_memory_MemTotal_bytes * 100

#磁盘使用率

(node_filesystem_size_bytes{mountpoint="/"} -
node_filesystem_free_bytes{mountpoint="/"})
/node_filesystem_size_bytes{mountpoint="/"} * 100

#阈值判断
(node_memory_MemTotal_bytes - node_memory_MemFree_bytes) /
node_memory_MemTotal_bytes > 0.95

#内存利用率是否超过80
( 1- node_memory_MemAvailable_bytes/node_memory_MemTotal_bytes ) * 100  > bool
80
prometheus_http_requests_total > bool 1000#布尔值,当超过1000为1,否则为0

#注意：
对于比较运算符来说，条件成立有结果输出，否则没有结果输出
使用bool修改符后，布尔运算不会对时间序列进行过滤，而是直接依次瞬时向量中的各个样本数据与标量的比
较结果0或者1。从而形成一条新的时间序列。

集合处理

# 并集

node_memory_MemTotal_bytes{instance="10.0.0.104:9100"} or
node_memory_MemFree_bytes{instance="10.0.0.105:9100" }
node_memory_MemTotal_bytes{instance=~"10.0.0.(103|104):9100"}

#交集

node_memory_MemTotal_bytes{instance="10.0.0.101:9100"} and
node_memory_MemFree_bytes{instance="10.0.0.104:9100" }

#补集

node_memory_MemTotal_bytes{job_name="k8s-node"} unless
node_memory_MemTotal_bytes{instance="10.0.0.104:9100"}

#注意：
and、or、unless 主要是针对获取的数据值进行条件选集合用的
and、or、unless 针对的对象是一个完整的表达式

4.3.2 聚合操作

官方文档

https://prometheus.io/docs/prometheus/latest/querying/operators/

聚合操作符aggregation operators虽然是一个个的功能，但是并不属于功能函数，仅仅代表对数据进行简单的功能处理。

常见的方法有：

sum、min、max、avg、count、count_values(值计数)
stddev(标准差)、stdvar(标准差异)、bottomk(最小取样)、topk(最大取样)、quantile(分布统计)

格式：

聚合操作符(metric表达式)         sum、min、max、avg、count等
聚合操作符(描述信息，metric)      count_values、bottomk、topk等

可以借助于without和by功能获取数据集中的一部分进行分组统计,格式如下

sum(数据选择表达式) without|by (<label list>)
#without 表示显示信息的时候，不包括指定的标签列表的分组统计
#by表示显示信息的时候，仅显示指定的标签的分组统计

示例

#内存总量
sum(node_memory_MemTotal_bytes)
#确认CPU的总个数
count(node_cpu_seconds_total{mode='system'})
#获取最大的值
max(prometheus_http_requests_total)
#分组统计计数
count_values("counts",node_filesystem_size_bytes)
#获取前5个最大值
topk(5, prometheus_http_requests_total)

#分组求和，除了job
sum(prometheus_http_requests_total) without (job)
#分组求和，仅仅是mode
sum(node_cpu_seconds_total) by (mode)

4.3.3 功能函数

官方文档

https://prometheus.io/docs/prometheus/latest/querying/functions/

默认情况下，prometheus官方默认的功能函数有40个,主要有以下几类

计算相关

绝对值abs()、导数deriv()、指数exp()、对数ln()、二进制对数log2()、10进制对数log10()、平方根
sqrt()
向上取整ceil()、向下取整floor()、四舍五入round()
样本差idelta()、差值delta()、递增值increase()、重置次数resets()
递增率irate()、变化率rate()、平滑值holt_winters()、直方百分位histogram_quantile()
预测值predict_linear()、参数vector()
范围最小值min_over_time()、范围最大值max_over_time()、范围平均值avg_over_time()、范围求
和值sum_over_time()、范围计数值count_over_time()、范围分位数quantile_over_time()、范围
标准差stddev_over_time()、范围标准方差stdvar_over_time()