2. Spark报错，Task is Failed,errorMsg: FileNotFoundException xxxx

helloooi2023-11-08 14:56

完整报错信息

sql 复制代码

21304, Task is Failed,errorMsg: FileNotFoundException: File does not exist: hdfs://xxxx-bigdata-nameservice/user/hive/warehouse/edw_ic.db/xxxx/part-00000-c8a718b3-54b3-42de-b36c-d6eedefd2e02-c000.snappy.parquet It is possible the xxx

报错场景

Airflow 调度脚本更新表xxxx的数据后，使用SparkSQL 查询表xxxx数据报如上错误。

解决方案

刷新表或重新创建相关的Dataset/DataFrame以使缓存失效。

还可以在Spark中通过运行 REFRESH TABLE tableName 命令来刷新表，或者重新创建相关的Dataset/DataFrame。

sql 复制代码

REFRESH TABLE tableName

上一篇：P1510 精卫填海（01背包）

下一篇：JavaFX Scene Builder Miscellaneous 控件详解

热门推荐

01YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】02KGG转MP3工具|非KGM文件|解密音频 03从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑 04【无人机】无人机通信模块，无人机图数传模块的介绍，数传，图传，图传数传一体电台，05【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！06DeepSeek各版本说明与优缺点分析 07神经网络架构KAN确实具有一些独特的特点及底层原理和应用场景 08VMware虚拟机安装Win7专业版保姆级教程（附镜像包）09组基轨迹建模 GBTM的介绍与实现（Stata 或 R）10柬埔寨语翻译通App，一款真正实现高棉语翻译、语音识别和中柬双语无障碍交流的应用程序。