Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录

一.historyserver无法启动

historyserver执行了启动命令后却没有启动,而且也没有报错,如果日志无法启动的话网页8082是无法访问的

只能去查看日志

去flink的log文件查看日志:

发现应该是缺包了,导入jar包后可以解决 :
flink-shaded-hadoop-2-uber-2.7.5-10.0,解决flink无法启动historyserver资源-CSDN文库

将下载后的压缩包解压后得到的jar放入flink的lib包里即可。

二.当运行flink的时候input放的文件存在却会报错:文件不存在

这个问题就很奇怪。明明文件存在甚至用tab可以自动补全出来,但是执行却说没有文件 。而且这个错误还不是每次都会出现,多次尝试之后发现:

由于flink是在集群上的,所以每次执行的并不知道到底会用哪个机器上的资源,我在01上有这个文件,但是02和03并没有所以一旦flink使用的是这两台的资源,那肯定是没有这个文件的。因此为了防止这个情况,要么把文件放到hdfs上,要么集群所有机器同路径都放需要的文件。

经测试可以解决问题。

相关推荐
starvapour3 小时前
Ubuntu的桌面级程序开机自启动
linux·ubuntu
哇哈哈&4 小时前
gcc9.2的离线安装,支持gcc++19及以上版本
linux·运维·服务器
万悉科技4 小时前
比 Profound 更适合中国企业的GEO产品
大数据·人工智能
汽车仪器仪表相关领域5 小时前
LambdaCAN:重构专业空燃比测量的数字化范式
大数据·人工智能·功能测试·安全·重构·汽车·压力测试
璞华Purvar5 小时前
地方产投集团数字化平台建设实战:从内控管理到决策赋能(璞华公开课第5期活动回顾)
大数据·人工智能
Jackeyzhe5 小时前
Flink学习笔记:多流 Join
flink
___波子 Pro Max.5 小时前
Linux快速查看文件末尾字节方法
linux
Caster_Z6 小时前
WinServer安装VM虚拟机运行Linux-(失败,云服务器不支持虚拟化)
linux·运维·服务器
GeminiJM7 小时前
Elasticsearch minimum_should_match 参数详解
大数据·elasticsearch·jenkins
少废话h7 小时前
Redis主从与集群搭建全指南
大数据·linux·redis·mysql