hive中date_add的一点小说明

在上家公司做理赔数据迁移的时候,遇到一个问题:

理赔的任务都是有时间节点的,有的是到天的,有的是到小时的,有的是到分钟的等等。具体的业务是这样的:算一个地区前30天的理赔金额(口径是到分钟的),用的是date_add计算的,导致数据多了300多万

问题所在:

在Hive中,date_add函数用于将指定的天数添加到给定的日期上,从而得到一个新的日期。如果日期是代时分秒的:'2024-10-23 14:12:30',用date_add加一天得到的是:2024-10-24,时分秒没有了,所以会导致统计出的金额有问题。

解决方案:使用interval解决

把date_add('2024-10-23 14:12:30',-30) 换成:'2024-10-23 14:12:30' - interval 30 day就可以解决了。

图片晚上不上

相关推荐
吾AI科技1 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
freejackman6 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构
skywalk81639 天前
hive 常驻集群:像 OSPF 一样在线,像 git 一样可信
运维·人工智能·hive
Francek Chen11 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠13 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
skywalk816314 天前
卡不等于分支:我用 TRAE 宝配合 Hive 跑三张任务卡的一天
运维·人工智能·hive·trae
freejackman14 天前
【架构篇】双遍历 + 多栈协同:手撸 SQL 血缘引擎的架构思考
java·大数据·数据库·hive·sql·架构·spark
陈年老古董15 天前
ClickHouse 单机搭建记录
hive·笔记·学习·clickhouse·硬件架构
Gl�ria15 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
陈年老古董15 天前
Spark 3.1.3 集群搭建 + Spark-SQL 整合 Hive 记录
hive·sql·spark