hive 动态分区参数设置错误导致数据不稳定

hive 动态分区参数设置错误导致数据不稳定

现象

昨天下班前同事遇到个问题来问我,sap的一个dwr模型数据有时候正常有时候异常,看了调度作业日志都正常,也是在上游dwi跑完以后再执行的。

上游dwi是1点多刷新的数据,dwr是3点多才开始。

为啥他手动跑一下又正常了??

原因

set hive.exec.dynamic.partition = ture;

英语没那么敏感的同学,是没那么容易发现 true 和 ture 的区别,所以当同事知道原因以后的反应是:这么坑爹!

解决思路

把 ture 改成 true 应该就可以了。(后续待更新处理结果)

相关推荐
wuyk5556 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证6 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读9 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI9 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy19909 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli9 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
AI_Auto11 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造
注塑机数据采集联网12 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
黑十1 天前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend1 天前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析