2. Spark报错,Task is Failed,errorMsg: FileNotFoundException xxxx

完整报错信息
sql 复制代码
21304, Task is Failed,errorMsg: FileNotFoundException: File does not exist: hdfs://xxxx-bigdata-nameservice/user/hive/warehouse/edw_ic.db/xxxx/part-00000-c8a718b3-54b3-42de-b36c-d6eedefd2e02-c000.snappy.parquet It is possible the xxx
报错场景

Airflow 调度脚本更新表xxxx的数据后,使用SparkSQL 查询表xxxx数据报如上错误。

解决方案

刷新表或重新创建相关的Dataset/DataFrame以使缓存失效。

还可以在Spark中通过运行 REFRESH TABLE tableName 命令来刷新表,或者重新创建相关的Dataset/DataFrame。

sql 复制代码
REFRESH TABLE tableName
相关推荐
Bug退退退12317 分钟前
RabbitMQ 工作模式
java·分布式·rabbitmq
Qdgr_1 小时前
价值实证:数字化转型标杆案例深度解析
大数据·数据库·人工智能
选择不变1 小时前
日线周线MACD指标使用图文教程,通达信指标
大数据·区块链·通达信指标公式·炒股技巧·短线指标·炒股指标
高山莫衣1 小时前
git rebase多次触发冲突
大数据·git·elasticsearch
链上Sniper2 小时前
智能合约状态快照技术:实现 EVM 状态的快速同步与回滚
java·大数据·linux·运维·web3·区块链·智能合约
wx_ywyy67982 小时前
推客系统小程序终极指南:从0到1构建自动裂变增长引擎,实现业绩10倍增长!
大数据·人工智能·短剧·短剧系统·推客系统·推客小程序·推客系统开发
蚂蚁数据AntData2 小时前
从性能优化赛到社区Committer,走进赵宇捷在Apache Fory的成长之路
大数据·开源·apache·数据库架构
谷新龙0014 小时前
大数据环境搭建指南:基于 Docker 构建 Hadoop、Hive、HBase 等服务
大数据·hadoop·docker
危险、6 小时前
RabbitMQ 通过HTTP API删除队列命令
分布式·http·rabbitmq
周某某~6 小时前
windows安装RabbitMQ
分布式·rabbitmq