如何将Hive表的分区字段插入PG表对应的时间戳字段?

文章目录

1、背景描述

数据仓库的建设通常是为业务和决策服务的。在数仓开发的应用层阶段,BI可以直接从主题层/业务层取数,而前端需要根据具体的作图需求通过后端查询数据库

作图的指标需要根据主题层/业务层做查询计算,然后将查询的结果导出到数据库以供前端作图。这个过程可以称为从数据仓库到OLTP数据库的ETL过程

然而,在ETL过程中,最棘手的问题就是数据类型兼容性问题,简单来说就是如何做数据类型转化,因为ETL的输入和输出是不同的系统

ETL的实现通常需要专门的工具或软件,例如DataX、Sqoop、Kettle等。当然,在湖仓一体化的环境下,ETL的成本将极大降低,因为我们可以直接使用SQL实现

例如,如何将Hive表的分区字段(string)通过SQL插入PG表对应的时间戳(timestamp)字段?

2、场景分析

在PostgreSQL中,时间戳(timestamp)类型主要用于存储日期和时间的值,包括年、月、日、时、分、秒和小数秒

例如,我们已经创建了一个应用层PG表,该表包含了某个作图图表的一些指标字段和一个时间戳(timestamp)字段,现在需要将Hive查询计算的结果插入到该PG表,其中分区(string)字段对应到PG表的时间戳字段(timestamp)

如何进行转换以确保插入成功?

在PostgreSQL中,根据声明日期时间类型的方式,只需要使用日期时间的字符串格式yyyy-MM-dd HH:mm:ss,直接在字符串的前面使用数据类型进行转换就可以了

sql 复制代码
insert into pg_table (col1,col2,...,stat_date)
select 
col1,
col2,
...,
timestamp ('2024-06-01 00:00:00') as stat_date 
from hive_table

因此,我们只需要将Hive的分区字段转换成yyyy-MM-dd HH:mm:ss格式,并使用timestamp声明即可完成插入

总的来说,湖仓一体化场景下,ETL的成本大大降低了,但是企业对用工人员的要求更高了,工人不仅需要熟悉数据仓库,还需要熟悉一些常见的数据库,以及它们之间如何融合使用

相关推荐
DataY轻量数据平台4 小时前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
宽海智能仓储物流9 小时前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
吾AI科技4 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
上海潭龙东海科技有限公司4 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
freejackman8 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构
skywalk816312 天前
hive 常驻集群:像 OSPF 一样在线,像 git 一样可信
运维·人工智能·hive
Francek Chen13 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
全栈陈序员16 天前
【Git】从入门到精通(二)—— Git安装与初次配置
数据仓库·git
skywalk816316 天前
卡不等于分支:我用 TRAE 宝配合 Hive 跑三张任务卡的一天
运维·人工智能·hive·trae
程序员梅雨16 天前
【从零开始学习数据仓库 | 第三篇】: Flume——数据采集基石
java·大数据·数据仓库·后端·学习·flume