Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录

一.historyserver无法启动

historyserver执行了启动命令后却没有启动,而且也没有报错,如果日志无法启动的话网页8082是无法访问的

只能去查看日志

去flink的log文件查看日志:

发现应该是缺包了,导入jar包后可以解决 :
flink-shaded-hadoop-2-uber-2.7.5-10.0,解决flink无法启动historyserver资源-CSDN文库

将下载后的压缩包解压后得到的jar放入flink的lib包里即可。

二.当运行flink的时候input放的文件存在却会报错:文件不存在

这个问题就很奇怪。明明文件存在甚至用tab可以自动补全出来,但是执行却说没有文件 。而且这个错误还不是每次都会出现,多次尝试之后发现:

由于flink是在集群上的,所以每次执行的并不知道到底会用哪个机器上的资源,我在01上有这个文件,但是02和03并没有所以一旦flink使用的是这两台的资源,那肯定是没有这个文件的。因此为了防止这个情况,要么把文件放到hdfs上,要么集群所有机器同路径都放需要的文件。

经测试可以解决问题。

相关推荐
阿里云大数据AI技术10 小时前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx35214 小时前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
轻松Ai享生活17 小时前
5 节课深入学习Linux Cgroups
linux
christine-rr17 小时前
linux常用命令(4)——压缩命令
linux·服务器·redis
三坛海会大神55517 小时前
LVS与Keepalived详解(二)LVS负载均衡实现实操
linux·负载均衡·lvs
東雪蓮☆17 小时前
深入理解 LVS-DR 模式与 Keepalived 高可用集群
linux·运维·服务器·lvs
乌萨奇也要立志学C++18 小时前
【Linux】进程概念(二):进程查看与 fork 初探
linux·运维·服务器
T062051419 小时前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔19 小时前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
獭.獭.20 小时前
Linux -- 信号【上】
linux·运维·服务器