CDP spark 无法读取hive表的问题

最近发现CDP中某些个别hive表, impala和hive可以正常读取,但spark 却读成空表,已排除spark参数和orc 的问题。

StackOverflow上有个相似问题 说是需要关闭以下参数:

bash 复制代码
hive.create.as.insert.only=false 
metastore.create.as.acid=false

但是实际在CDP安装完成,关闭ACID的时候,这两个参数都已经关闭了。

最后经过研究发现是严格模式的问题,

需要修改以下参数

bash 复制代码
hive.strict.managed.tables=false 

然后重新创建表即可

相关推荐
唐兴通个人6 小时前
人工智能Deepseek医药AI培训师培训讲师唐兴通讲课课程纲要
大数据·人工智能
梦里不知身是客116 小时前
spark读取table中的数据【hive】
大数据·hive·spark
赞奇科技Xsuperzone8 小时前
DGX Spark 实战解析:模型选择与效率优化全指南
大数据·人工智能·gpt·spark·nvidia
努力成为一个程序猿.9 小时前
Flink集群部署以及作业提交模式详解
大数据·flink
努力成为一个程序猿.9 小时前
【Flink】FlinkSQL-动态表和持续查询概念
大数据·数据库·flink
更深兼春远9 小时前
Spark on Yarn安装部署
大数据·分布式·spark
DolphinScheduler社区10 小时前
真实迁移案例:从 Azkaban 到 DolphinScheduler 的选型与实践
java·大数据·开源·任务调度·azkaban·海豚调度·迁移案例
zhangkaixuan45611 小时前
Apache Paimon 写入流程
java·大数据·apache·paimon
Elastic 中国社区官方博客11 小时前
通过混合搜索重排序提升多语言嵌入模型的相关性
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索