Prometheus流程图(自绘)-核心组件-流程详解

阿丹手绘流程图:图片可能有点小查看的时候放大看看哈!

prometheus核心组件

prometheus server

Prometheus Server是Prometheus组件中的核心部分,负责实现对监控数据的获取,存储以及查询。Prometheus Server可以通过静态配置管理监控目标,也可以配合使用Service Discoverv的方式动态管理监控目标,并从这些监控目标中获取数据。其次Prometheus Server需要对采集到的监控数据进行存储,PrometheusServer本身就是一个时序数据库,将采集到的监控数据按照时间序列的方式存储在本地磁盘当中。最后Prometheus Server对外提供了自定义的PromQL语言,实现对数据的查询以及分析。

1.取

Prometheus Server通过服务发现组件,周期性地从上面介绍的]ob、Exporter、Pushgateway这3个组件中通过HTTP轮询的形式拉取监控指标数据。

2.存储

抓取到的监控数据通过一定的规则清理和数据整理(抓取前使用服务发现提供的relabel configs方法,抓取后使用作业内的metrics relabel configs方法),会把得到的结果存储到新的时间序列中进行持久化。多年来,存储模块经历了多次重新设计,Prometheus 20版的存储系统是第三次迭代。该存储系统每秒可以处理数百万个样品的摄入,使得使用一台Prometheus服务器监控数千台机器成为可能。使用的压缩算法可以在真实数据上实现每个样本1.3B。建议使用SSD,但不是严格要求

Prometheus的存储分为本地存储和远程存储

本地存储:会直接保留到本地磁盘,性能上建议使用SSD且不要保存超过一个月的数据。记住,任何版本的Prometheus都不支持NFS。一些实际生产案例告诉我们,Prometheus存储文件如果使用NFS,则有损坏失历史数据的可能

远程存储: 适用于存储大量的监控数据。Prometheus支持的远程存储包括OpenTSDB、InfluxDB.Elasticsearch、Graphite、 CrateDB、Kakfa、 PostgresQL、TimescaleDB、TiKV等。远程存储需要配合中间层的适配器进行转换,主要涉及Prometheus中的remote _write和remote_read接口。在实际生产中,远程存储会出现各种各样的问题,需要不断地进行优化、压测、架构改造甚至重写上传数据逻辑的模块等工作。

3.查询

Prometheus持久化数据以后,客户端就可以通过PromQL语句对数据进行查询了

Prometheus Server内置的Express Browser Ul,通过这个U可以直接通过PromQL实现数据的查询以及可视化。

Prometheus Server的联邦集群能力可以使其从其他的Prometheus Server实例中获取数据,因此在大规模监控的情况下,可以通过联邦集群以及功能分区的方式对Prometheus Server进行扩展。

Exporters

使用工具来收集数据,与skywalking中的埋点和探针概念类似。

Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server,Prometheus Server通过访问该Exporter提供的Endpoint端点,即可获取到需要采集的监控数据

般来说可以将Exporter分为2类:

直接采集: 这一类Exporter直接内置了对Prometheus监控的支持,比如cAdvisor,Kubernetes,EtcdGokit等,都直接内置了用于向Prometheus暴露监控数据的端点。

间接采集: 间接采集,原有监控目标并不直接支持Prometheus,因此我们需要通过Prometheus提供的ClientLibrary编写该监控目标的监控采集程序。例如: MysalExporter,]MX Exporter,ConsulExporter等

通俗来说的话就是先打井才能开始拿水用。

AlxrtManager

在Prometheus Server中支持基于PromQL创建告警规则,如果满足PromQL定义的规则,则会产生一条告警而告警的后续处理流程则由AlertManager进行管理。在AlertManager中我们可以与邮件,Slack等等内置的通知方式进行集成,也可以通过Webhook自定义告警处理方式。AlertManager即Prometheus体系中的告警处理中心。

总结:其实就是告警的管理器。

PushGateway

由于Prometheus数据采集基于Pull模型进行设计,因此在网络环境的配置上必须要让Prometheus Server能够直接与Exporter进行通信。 当这种网络需求无法直接满足时,就可以利用PushGateway来进行中转。可以通过PushGatewav将内部网络的监控数据主动Push到Gateway当中。而Prometheus Server则可以采用同样Pull的方式从PushGateway中获取到监控数据。

Service Discovery

Prometheus通过服务发现机制对云以及容器环境下的监控场景提供了完善的支持.服务发现的方式有两种:配置文件和服务动态感知

1.配置文件

Prometheus会周期性地从文件中读取最新的target信息。

对于支持文件的服务发现,实践场景下可以衍生为与自动化配置管理工具 (Ansible、CronJob、Puppet.

SaltStack等)结合使用。

2.通过服务动态感知

Prometheus还支持多种常见的服务发现组件,如Kubernetes、DNS、Zookeeper、Azure、 EC2和GCE等。例如,Prometheus可以使用Kubernetes的API获取容器信息的变化 (如容器的创建和删除)来动态更新监控对象

通过服务发现的方式,管理员可以在不重启Prometheus服务的情况下动态发现需要监控的target实例信息。

相关推荐
Cherry的跨界思维5 天前
【AI测试全栈:质量】47、Vue+Prometheus+Grafana实战:打造全方位AI监控面板开发指南
vue.js·人工智能·ci/cd·grafana·prometheus·ai测试·ai全栈
AC赳赳老秦5 天前
云原生AI故障排查新趋势:利用DeepSeek实现高效定位部署报错与性能瓶颈
ide·人工智能·python·云原生·prometheus·ai-native·deepseek
予枫的编程笔记5 天前
【Kafka高级篇】Kafka监控不踩坑:JMX指标暴露+Prometheus+Grafana可视化全流程
kafka·grafana·prometheus·可观测性·jmx·kafka集群调优·中间件监控
PD我是你的真爱粉6 天前
Vue 3 生命周期完全指南:从流程图到最佳实践
前端·vue.js·流程图
CORNERSTONE3656 天前
生产质量管理体系全过程流程图
流程图·质量管理·管理流程·生产质量
AC赳赳老秦6 天前
预见2026:DeepSeek与云平台联动的自动化流程——云原生AI工具演进的核心引擎
人工智能·安全·云原生·架构·自动化·prometheus·deepseek
认真的薛薛6 天前
13.k8s中Prometheus监控集群及其服务,endpoint暴露服务,es采集k8s日志
elasticsearch·kubernetes·prometheus
Blockbuater_drug6 天前
Amber分子动力学模拟5.3: 冷冻电镜结构评估与选用
流程图·分子动力学模拟·cryo-em结构·蛋白结构评估·冷冻电镜结构
A-刘晨阳6 天前
K8S部署kube-state-metrics + CAdvisor 并使用 Prometheus 监控 Kubernetes 指标
运维·云原生·kubernetes·云计算·prometheus·cadvisor·state-metrics