CDP spark 无法读取hive表的问题

最近发现CDP中某些个别hive表, impala和hive可以正常读取,但spark 却读成空表,已排除spark参数和orc 的问题。

StackOverflow上有个相似问题 说是需要关闭以下参数:

bash 复制代码
hive.create.as.insert.only=false 
metastore.create.as.acid=false

但是实际在CDP安装完成,关闭ACID的时候,这两个参数都已经关闭了。

最后经过研究发现是严格模式的问题,

需要修改以下参数

bash 复制代码
hive.strict.managed.tables=false 

然后重新创建表即可

相关推荐
青鱼入云3 小时前
【面试场景题】电商订单系统分库分表方案设计
大数据·面试·职场和发展
在未来等你4 小时前
Kafka面试精讲 Day 12:副本同步与数据一致性
大数据·分布式·面试·kafka·消息队列
云边云科技4 小时前
门店网络重构:告别“打补丁”,用“云网融合”重塑数字竞争力!
大数据·人工智能·安全·智能路由器·零售
渣渣盟5 小时前
Spark核心:单跳转换率计算全解析
大数据·spark·scala·apache
edisao5 小时前
[特殊字符] 从助手到引擎:基于 GPT 的战略协作系统演示
大数据·人工智能·gpt
IT毕设梦工厂6 小时前
大数据毕业设计选题推荐-基于大数据的国家医用消耗选品采集数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
华略创新7 小时前
利用数据分析提升管理决策水平
大数据·数据分析·crm·管理系统·软件
pingao1413787 小时前
PG-210-HI 山洪预警系统呼叫端:筑牢山区应急预警 “安全防线”
大数据·人工智能·科技
庄小焱7 小时前
大数据存储域——Kafka设计原理
大数据·kafka·消息中间件
Elastic 中国社区官方博客8 小时前
带地图的 RAG:多模态 + 地理空间 在 Elasticsearch 中
大数据·人工智能·elasticsearch·搜索引擎·ai·语言模型·全文检索