2. Spark报错，Task is Failed,errorMsg: FileNotFoundException xxxx

helloooi2023-11-08 14:56

完整报错信息

sql 复制代码

21304, Task is Failed,errorMsg: FileNotFoundException: File does not exist: hdfs://xxxx-bigdata-nameservice/user/hive/warehouse/edw_ic.db/xxxx/part-00000-c8a718b3-54b3-42de-b36c-d6eedefd2e02-c000.snappy.parquet It is possible the xxx

报错场景

Airflow 调度脚本更新表xxxx的数据后，使用SparkSQL 查询表xxxx数据报如上错误。

解决方案

刷新表或重新创建相关的Dataset/DataFrame以使缓存失效。

还可以在Spark中通过运行 REFRESH TABLE tableName 命令来刷新表，或者重新创建相关的Dataset/DataFrame。

sql 复制代码

REFRESH TABLE tableName

上一篇：P1510 精卫填海（01背包）

下一篇：JavaFX Scene Builder Miscellaneous 控件详解

热门推荐

01DeepSeek r1本地安装全指南 02【deepseek】deepseek-r1本地部署-第一步：下载LM Studio 03将DeepSeek接入Word，打造AI办公助手 04使用Ollama 在Ubuntu运行deepseek大模型：以DeepSeek-coder为例 05新鲜速递：DeepSeek-R1开源大模型本地部署实战—Ollama + MaxKB 搭建RAG检索增强生成应用 06Dell服务器升级ubuntu 22.04失败解决 07DeepSeek学术写作测评第一弹：论文润色，中译英效果如何？08如何解压7z文件？8种方法（Win/Mac/手机/网页端）09半导体应用系统一些小知识收集(strip&wafer mapping,EAP&scada)10DeepSeek 云端部署，释放无限 AI 潜力！