hive使用hplsql进行etl或其它数据加工

参照

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=59690156

http://www.hplsql.org/doc

Hive HPL/SQL,即Hive Hybrid Procedural SQL一个开源工具,它为hive实现了过程性的SQL功能,类似Oracle的PLSQL。从hive 2.0.0开始出现,自此hive的etl更便利。

hplsql命令位于路径$HIVE_HOME/bin/hplsql。

注意:该HPLSQL命令能被执行的前提是要执行 hive --service hiveserver2 启动hive

格式

语法:hplsql -e 'query'

hplsql -e 'select 1'

格式2

语法:hplsql -f 'file'

hplsql -f test.sql

上图用到的test.sql脚本文件,其内容如下所示

简单的etl示例

相关推荐
Patrick在香港8 小时前
把 Claude 塞进 pandas 管道:7 条脏地址实测,5 条自动清洗、2 条被闸门拦下
python·pandas·etl·claude·数据清洗
张工在路上1 天前
WPF 布局基础概述
大数据·hadoop·wpf
BYSJMG2 天前
计算机毕设选题|基于大数据与文本挖掘的自动驾驶事故成因分析及可视化研究|Hadoop+PySpark+Django+Vue
大数据·hadoop·信息可视化·django·自动驾驶·kmeans·课程设计
邀星月为媒3 天前
从零打造一个属于自己的 AI Agent:Core Hive Agent 开源项目解析
人工智能·hive·开源
BI专家之路3 天前
安装linux/hadoop/jdk/hive
linux·hive·hadoop
2601_962073974 天前
大数据-258 离线数仓 - Griffin架构 配置安装 Livy 架构设计 解压配置 Hadoop Hive
大数据·hadoop·架构
fastjson_4 天前
Hive 基础函数
数据仓库·hive·hadoop
kuroomi4 天前
hadoop高可用架构
hadoop
千里码aicood6 天前
基于Hadoop的汽车销量分析与可视化
大数据·hadoop·分布式
RestCloud6 天前
行业数据集成架构对比:金融、制造、政务三大场景的差异化设计
金融·架构·制造·etl·etlcloud·数据传输·数据集成平台