K8S环境中通过prometheus实现flink服务监控并给flink设置服务监测自动重启

prometheus实现flink服务监控

通过flink自带的**PrometheusReporter去监控flink服务**

修改flink-configmap.yaml,添加红框内的三行内容

执行kubectl apply -f flink-configmap.yaml 更新配置文件

flink镜像中可能没有相关的jar包,没有的话**PrometheusReporter就不存在,可以手动添加相关jar包,具体操作如下,比如我是flink1.16.3**

wget https://repo1.maven.org/maven2/org/apache/flink/flink-metrics-prometheus/1.16.3/flink-metrics-prometheus-1.16.3.jar

vim Dockerfile

FROM 你的flink镜像名称

COPY flink-metrics-prometheus-1.16.3.jar /opt/flink/lib/

执行命令打包镜像

docker build -t 你的flink镜像名称-prometheus .

最后在jobManager和taskManager deplotment的yaml文件里修改相关镜像即可

需要在jobManager和taskManager deplotment的yaml文件配置configmap挂载,因为容器内/opt/flink/conf/是只读目录,某些 Flink 启动脚本(如 /docker-entrypoint.sh)会 修改或写入 flink-conf.yaml(例如动态注入环境变量),所以ConfigMap 不能直接挂载到/opt/flink/conf,可以把ConfigMap 到 /tmp/flink-conf,再用启动命令复制。

启动jobManager即可

修改Prometheus的配置,ip是service的地址,也可以写域名

重载配置即可生效。

service的yaml附图:

注意事项:

从 Flink 1.14 开始,官方 弃用了 metrics.reporter.X.class 的配置方式,转而推荐使用 Reporter Factory。如果用​metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter ​

那么 Flink 会尝试通过 反射调用无参构造函数 来实例化 PrometheusReporter。但在 Flink 1.16+ 中,PrometheusReporter 不再提供 public 无参构造函数

正确方式(Flink 1.14+ 推荐) metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory

flink设置服务监测自动重启

在现有 Standalone 架构下实现"自动提交 + 自愈"

sidecar 容器 + 循环提交脚本 实现高可用。

为 JobManager Pod 添加一个 submitter sidecar 容器,原理是监控启动的作业名称

启动flink

相关推荐
老毛肚11 分钟前
KubeSphere 云原生k8s
云原生·容器·kubernetes
魔都吴所谓14 分钟前
【Ubuntu】22.04安装 CMake 3.24
linux·运维·ubuntu
juniperhan15 分钟前
link 系列第7篇:Flink 状态管理全解析(原理+类型+存储+实操)
大数据·数据仓库·flink
学不完的16 分钟前
Kubernetes控制器
docker·容器·kubernetes
守城小轩17 分钟前
基于Chrome140的INS账号自动化——需求分析&环境搭建(一)
运维·chrome devtools·浏览器自动化·指纹浏览器·浏览器开发
w61001046620 分钟前
CKA-2026-resources
运维·docker·容器·cka
齐潇宇21 分钟前
Rsync+sersync 实现数据实时同步故障排查
linux·自动化·rsync·排障·数据同步排障
lifallen21 分钟前
Flink Agents:Python 执行链路与跨语言 Actor (PyFlink Agent)
java·大数据·人工智能·python·语言模型·flink
小二·22 分钟前
2026年4月技术热点深度解析:AI智能体攻防、量子安全与云原生新纪元
人工智能·安全·云原生
程序员老邢25 分钟前
【技术底稿 11】内网私有 Docker 镜像仓库 Registry2 全流程部署(多机共享,告别离线拷贝)
运维·docker·容器·架构·devops