Flink 火焰图

Flink 自己也支持了 Task 粒度的 Flame Graphs 功能,并且可以细化到 subtask 粒度。

第一步:配置启用功能

Flink 作业动态参数里增加配置:"rest.flamegraph.enabled": "true" 并重启作业。当前该功能没有默认开启,因为这个功能使用时对性能有少量损耗,特别是对于并行度比较大的作业。

第二步: 在 Web UI 上选中想要探查的算子,打开 FlameGraph 面板

方式二 使用 Arthas 打印火焰图

第一步:通过 WebShell 查看 container 的 IP 和 PID第二步:下载 Arthas, 并绑定 container 的 PID 启动

bash 复制代码
# Godel/K8S 下默认打包了 arthas,可以直接使用
ls /opt/tiger/arthas/arthas-boot.jar
# 历史作业或者 yarn 环境下没有默认打包,可以主动下载 Arthas
curl -O https://arthas.aliyun.com/arthas-boot.jar

# 绑定 PID 启动
java -jar arthas-boot.jar ${PID}

第三步:使用 profiler 命令打印火焰图

bash 复制代码
[arthas@327]$ profiler start
Profiling started
[arthas@327]$  profiler stop
OK
profiler output file: /opt/tiger/workdir/arthas-output/20220822-180615.html
[arthas@327]$ exit

第四步:将火焰图文件移动至 Flink 日志目录下
第五步 在 Flink WebUI JM/TM 的 Log List 页面中找到火焰图文件并下载

相关推荐
鸭鸭鸭进京赶烤5 小时前
大学专业科普 | 云计算、大数据
大数据·云计算
G皮T8 小时前
【Elasticsearch】自定义评分检索
大数据·elasticsearch·搜索引擎·查询·检索·自定义评分·_score
搞笑的秀儿11 小时前
信息新技术
大数据·人工智能·物联网·云计算·区块链
SelectDB12 小时前
SelectDB 在 AWS Graviton ARM 架构下相比 x86 实现 36% 性价比提升
大数据·架构·aws
二二孚日12 小时前
自用华为ICT云赛道Big Data第五章知识点-Flume海量日志聚合
大数据·华为
二二孚日14 小时前
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
大数据·华为
xufwind15 小时前
spark standlone 集群离线安装
大数据·分布式·spark
AI数据皮皮侠16 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
昱禹16 小时前
Flutter 3.29+使用isar构建失败
大数据·flutter
DeepSeek大模型官方教程17 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习