k8s、prometheus、grafana数据采集和展示的链路流程

k8s集群中,容器级别的数据采集是由cAdvisor程序实现

cAdvisor # Container Advisor 容器顾问

cAdvisor程序是kubelet组件的一部分。

每个节点,包括master节点,都有一个kubelet系统服务,

kukelet负责管理pod和容器的生命周期

其cAdvisor程序可以采集cpu内存网络io等数据

cAdvisor采集容器级别的数据

kubelet负责汇总出节点级别的数据

metrics server监控组件定期从kubelet获取这些数据,转换成k8s API可以识别的格式

Prometheus从这个API获取数据,kubectl top命令,和HPA控制器也是从这个API获取数据

Grafana从Prometheus获取数据,进行展示

kubelet是以软件包的形式安装,yum -y install kubelet,以系统服务的形式运行

用systemd管理,配置文件一般在/var/lib/kubelet/目录下

metrics-server是以DaemonSet的形式部署

metrics-server需要签发证书才能采集数据,

签发证书需要先修改kubelet配置文件,添加一行

serverTLSBootstrap: true

重启kubelet服务

]# kubectl certificate approve xxx # 管理控制节点签发证书

]# echo 'serverTLSBootstrap: true' >>/var/lib/kubelet/config.yaml # 计算节点也配置证书

然后在master节点给计算节点签发证书

top命令就可以看到cpu和内存的统计数据了

可以kubelet top pods查看pod级别的数据

也可以kubelet top nodes查看node级别的数据

metrics-server官方资源文件地址:

metrics-server/manifests/base at master · kubernetes-sigs/metrics-server · GitHubScalable and efficient source of container resource metrics for Kubernetes built-in autoscaling pipelines. - metrics-server/manifests/base at master · kubernetes-sigs/metrics-serverhttps://github.com/kubernetes-sigs/metrics-server/tree/master/manifests/base

prometheus官方资源文件地址:

https://github.com/prometheus-operator/kube-prometheushttps://github.com/prometheus-operator/kube-prometheus

相关推荐
运维开发故事5 天前
基于 Arthas 的多集群在线诊断系统设计与实现
kubernetes
Patrick_Wilson7 天前
从「改个端口」到 502:Next.js on k8s 的容器端口、Service 映射与 env 覆盖
docker·kubernetes·next.js
SRETalk7 天前
Zabbix、Prometheus、Grafana、Nightingale,四个监控如何选型?
zabbix·grafana·prometheus·nightingale
探索云原生8 天前
K8s 1.36 这个 GA 特性,把 initContainer 拉模型的 hack 干掉了
ai·云原生·kubernetes
Java之美9 天前
一次k8s升级引发的DevicePlugin注册失败
云原生·kubernetes
虚无境15 天前
如何编写一个SpringBoot项目告警推送的Starter
java·prometheus·webhook
java_cj15 天前
深入kube-apiserver认证机制:从Bearer Token到mTLS的完整认证链解析
linux·运维·服务器·云原生·容器·kubernetes
qq_4523962316 天前
第十三篇:《K8s 安全基础:RBAC、ServiceAccount、Pod Security》
java·安全·kubernetes
睡不醒男孩03082316 天前
云原生运维实战:高并发架构下的云原生可观测性、韧性降级与自动化干预体系
数据库·kubernetes·高并发·prometheus·devops·sre·缓存调优