Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录

一.historyserver无法启动

historyserver执行了启动命令后却没有启动,而且也没有报错,如果日志无法启动的话网页8082是无法访问的

只能去查看日志

去flink的log文件查看日志:

发现应该是缺包了,导入jar包后可以解决 :
flink-shaded-hadoop-2-uber-2.7.5-10.0,解决flink无法启动historyserver资源-CSDN文库

将下载后的压缩包解压后得到的jar放入flink的lib包里即可。

二.当运行flink的时候input放的文件存在却会报错:文件不存在

这个问题就很奇怪。明明文件存在甚至用tab可以自动补全出来,但是执行却说没有文件 。而且这个错误还不是每次都会出现,多次尝试之后发现:

由于flink是在集群上的,所以每次执行的并不知道到底会用哪个机器上的资源,我在01上有这个文件,但是02和03并没有所以一旦flink使用的是这两台的资源,那肯定是没有这个文件的。因此为了防止这个情况,要么把文件放到hdfs上,要么集群所有机器同路径都放需要的文件。

经测试可以解决问题。

相关推荐
数据库安全10 分钟前
山东省某三甲医院基于分类分级的数据安全防护建设实践
大数据·人工智能
七牛云行业应用13 分钟前
从API调用到智能体编排:GPT-5时代的AI开发新模式
大数据·人工智能·gpt·openai·agent开发
wangjialelele17 分钟前
端口号、常见协议和套接字
linux·运维·服务器·c语言·网络
蒙特卡洛的随机游走27 分钟前
Spark的宽依赖与窄依赖
大数据·前端·spark
蜜蜜不吃糖33 分钟前
ESXI主机重置带外密码
linux·运维·服务器
智象科技1 小时前
CMDB报表体系如何驱动智能运维
大数据·运维·报表·一体化运维·cmdb
ZhiqianXia1 小时前
Linux SysRq
linux
Zach_yuan1 小时前
版本控制器Git
linux·git
嘉禾望岗5031 小时前
hive join优化和数据倾斜处理
数据仓库·hive·hadoop
yumgpkpm2 小时前
华为鲲鹏 Aarch64 环境下多 Oracle 数据库汇聚操作指南 CMP(类 Cloudera CDP 7.3)
大数据·hive·hadoop·elasticsearch·zookeeper·big data·cloudera