Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录

一.historyserver无法启动

historyserver执行了启动命令后却没有启动,而且也没有报错,如果日志无法启动的话网页8082是无法访问的

只能去查看日志

去flink的log文件查看日志:

发现应该是缺包了,导入jar包后可以解决 :
flink-shaded-hadoop-2-uber-2.7.5-10.0,解决flink无法启动historyserver资源-CSDN文库

将下载后的压缩包解压后得到的jar放入flink的lib包里即可。

二.当运行flink的时候input放的文件存在却会报错:文件不存在

这个问题就很奇怪。明明文件存在甚至用tab可以自动补全出来,但是执行却说没有文件 。而且这个错误还不是每次都会出现,多次尝试之后发现:

由于flink是在集群上的,所以每次执行的并不知道到底会用哪个机器上的资源,我在01上有这个文件,但是02和03并没有所以一旦flink使用的是这两台的资源,那肯定是没有这个文件的。因此为了防止这个情况,要么把文件放到hdfs上,要么集群所有机器同路径都放需要的文件。

经测试可以解决问题。

相关推荐
Android系统攻城狮3 小时前
Linux Gstreamer深度解析之gst_audio_ring_buffer_prepare_read调用流程与实战(七十四)
linux·运维·服务器·gstreamer音视频·音视频进阶
我科绝伦(Huanhuan Zhou)4 小时前
Linux 通用压力测试脚本合集:磁盘 + 网络
linux·网络·压力测试
AOI小白新手上路4 小时前
autodl常用的tar 打包下载(数据集)命令手册:逐段拆解与套用模板
java·大数据·数据库
TMT星球5 小时前
工博会2026丨它石智航联合创始人陈同庆:从模型到产线,让机器人在真实场景创造真实价值
大数据·人工智能
Soneswy6 小时前
Linux系统篇--重定向与文件操作命令
linux
有毒的教程6 小时前
Linux底层存储路由配
linux·运维·网络
2401_865261637 小时前
亦唐科技:大数据如何驱动精准商业决策
大数据·科技
Linux系统运维工程师_郭主任7 小时前
运维人还在被拒offer?现在能考的,只有 RHCE 10.0。
linux
xiaomuzuirenzhen7 小时前
2027秋招项目复盘:数据科学与大数据技术专业如何从代码实现讲到业务价值
大数据
自养Agent7 小时前
MCP Server Boundary Audit Report
linux·服务器·人工智能·windows·大模型·llm