hive中date_add的一点小说明

在上家公司做理赔数据迁移的时候,遇到一个问题:

理赔的任务都是有时间节点的,有的是到天的,有的是到小时的,有的是到分钟的等等。具体的业务是这样的:算一个地区前30天的理赔金额(口径是到分钟的),用的是date_add计算的,导致数据多了300多万

问题所在:

在Hive中,date_add函数用于将指定的天数添加到给定的日期上,从而得到一个新的日期。如果日期是代时分秒的:'2024-10-23 14:12:30',用date_add加一天得到的是:2024-10-24,时分秒没有了,所以会导致统计出的金额有问题。

解决方案:使用interval解决

把date_add('2024-10-23 14:12:30',-30) 换成:'2024-10-23 14:12:30' - interval 30 day就可以解决了。

图片晚上不上

相关推荐
爱吃火鸡面呀28 分钟前
MySQL、ClickHouse、Doris、Hive、Spark SQL、Flink SQL 选型对比:优点、缺点与面试话术
hive·mysql·clickhouse
ha_lydms2 天前
AnalyticDB MySQL 技术架构
大数据·hadoop·mysql·adb·spark·dataworks·1024程序员节
螺蛳粉 螺蛳粉3 天前
大数据第四篇:事故复盘:移走 HBase 里 27 个 hadoop-2.10.2 jar 后,HMaster 半小时后“自杀“了【jar 事故复盘】
jvm·hadoop·hbase·异常处理·大数据运维·踩坑记录·事故复盘
Francek Chen4 天前
【大数据处理与分析】数据仓库Hive:08 Impala
数据仓库·hive·hadoop·数据分析·impala
ha_lydms5 天前
Window Functions(窗口函数)
大数据·数据仓库·hadoop·spark·数据处理·dataworks·maxcompute
大鳥5 天前
JSON 解析最佳实践:从入门到生产级优化
hive·sql·spark·json
ha_lydms5 天前
Xml Functions(XML 函数)
xml·大数据·hadoop·spark·数据处理·dataworks·maxcompute
ha_lydms5 天前
Vector Functions(向量函数)
大数据·hadoop·spark·数据处理·dataworks·maxcompute·数据中台
ha_lydms5 天前
阿里云大数据组件
大数据·hadoop·阿里云·spark·云计算·数据处理·dataworks
ruxshui6 天前
Hadoop 生产运维实战手册
大数据·运维·hadoop