Prometheus组件介绍
- prometheus server： 主服务，接受外部http请求，收集、存储与查询数据
- promeheus targets：静态收集的目标服务数据
- service discovery：动态发现服务
- prometheus alerting: 报警通知
- push gateway：数据收集代理服务器（类似于zabbix proxy）
- data visualization and export：数据可视化与数据导出（访问客户端）
使用Operator部署Prometheus
克隆Operator仓库
sh
git clone https://github.com/prometheus-operator/kube-prometheus.git进入目录应用yaml文件
sh
# 进入项目目录
[root@node1 ~]# cd kube-prometheus/查看项目使用的谷歌镜像有哪些
可以看到kube-state-metrics和prometheus-adapter使用了google官方的镜像仓库，国内无法访问，所以后面得替换下
sh
[root@node1 kube-prometheus]# grep image: ./* -R | grep registry.k8s.io
./manifests/kubeStateMetrics-deployment.yaml: image: registry.k8s.io/kube-state-metrics/kube-state-metrics:v2.9.2
./manifests/prometheusAdapter-deployment.yaml: image: registry.k8s.io/prometheus-adapter/prometheus-adapter:v0.11.1使用docker hub的镜像替换registry.k8s.io的镜像
该步骤需要自己将上面的两个镜像推送到自己的docker hub仓库里面
sh
sed -i "s#registry.k8s.io/kube-state-metrics/kube-state-metrics.*#postkarte/kube-state-metrics:v2.9.2#g" manifests/kubeStateMetrics-deployment.yaml
sed -i "s#registry.k8s.io/prometheus-adapter.*#postkarte/prometheus-adapter:v0.11.1#g" manifests/prometheusAdapter-deployment.yaml首先应用setup目录里面的yaml文件
注意应用时候需要加上--server-side，表示Server-side Apply
该目录包括创建名称空间等初始化资源清单文件
sh
[root@node1 kube-prometheus]# kubectl apply --server-side -f manifests/setup/
customresourcedefinition.apiextensions.k8s.io/alertmanagerconfigs.monitoring.coreos.com serverside-applied
customresourcedefinition.apiextensions.k8s.io/alertmanagers.monitoring.coreos.com serverside-applied
customresourcedefinition.apiextensions.k8s.io/podmonitors.monitoring.coreos.com serverside-applied
customresourcedefinition.apiextensions.k8s.io/probes.monitoring.coreos.com serverside-applied
customresourcedefinition.apiextensions.k8s.io/prometheuses.monitoring.coreos.com serverside-applied
customresourcedefinition.apiextensions.k8s.io/prometheusagents.monitoring.coreos.com serverside-applied
customresourcedefinition.apiextensions.k8s.io/prometheusrules.monitoring.coreos.com serverside-applied
customresourcedefinition.apiextensions.k8s.io/scrapeconfigs.monitoring.coreos.com serverside-applied
customresourcedefinition.apiextensions.k8s.io/servicemonitors.monitoring.coreos.com serverside-applied
customresourcedefinition.apiextensions.k8s.io/thanosrulers.monitoring.coreos.com serverside-applied
namespace/monitoring serverside-applied等待上一步资源创建成功
sh
kubectl wait \
--for condition=Established \
--all CustomResourceDefinition \
--namespace=monitoring此命令的含义是:
-
kubectl wait:等待某个事件满足条件之后再返回
-
--for condition=Established:等待条件为"Established",即等待到达"Established"状态
-
--all CustomResourceDefinition:等待的对象是所有类型为CustomResourceDefinition的资源
-
--namespace=monitoring:限定查看monitoring命名空间下的CRD
换而言之,这个命令在monitoring命名空间下,等待所有的CustomResourceDefinition资源对象都进入"Established"状态之后才返回。
CustomResourceDefinition (CRD)需要一段时间从定型状态变成已建立状态,这期间CRD资源还无法正常使用。
此命令就是等待所有的CRD建立完成,确保它们都能正常工作后,kubectl命令才继续执行后面的操作。
使用kubectl wait可以避免在CRD还未完全就绪的情况下进行后续操作,从而避免因CRD状态不全导致的处理失败。这对于需要依赖CRD定义的其他资源来说,是必要的同步机制。
在上一步资源创建成功后，应用Prometheus和grafana的yaml文件
sh
[root@node1 kube-prometheus]# kubectl apply -f manifests/查看资源部署情况
sh
遇到的错误
在应用manifests/setup/文件中的yaml文件时候出现如下错误，解决办法是加上--server-side
sh
Error from server (Invalid): error when creating "manifests/setup/0prometheusCustomResourceDefinition.yaml": CustomResourceDefinition.apiextensions.k8s.io "prometheuses.monitoring.coreos.com" is invalid: metadata.annotations: Too long: must have at most 262144 bytes
Error from server (Invalid): error when creating "manifests/setup/0prometheusagentCustomResourceDefinition.yaml": CustomResourceDefinition.apiextensions.k8s.io "prometheusagents.monitoring.coreos.com" is invalid: metadata.annotations: Too long: must have at most 262144 bytes