hive使用hplsql进行etl或其它数据加工

参照

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=59690156

http://www.hplsql.org/doc

Hive HPL/SQL,即Hive Hybrid Procedural SQL一个开源工具,它为hive实现了过程性的SQL功能,类似Oracle的PLSQL。从hive 2.0.0开始出现,自此hive的etl更便利。

hplsql命令位于路径$HIVE_HOME/bin/hplsql。

注意:该HPLSQL命令能被执行的前提是要执行 hive --service hiveserver2 启动hive

格式

语法:hplsql -e 'query'

hplsql -e 'select 1'

格式2

语法:hplsql -f 'file'

hplsql -f test.sql

上图用到的test.sql脚本文件,其内容如下所示

简单的etl示例

相关推荐
泡干脆面就番茄3 小时前
Hive-DML:Load-Insert-Export-Import四种数据进出方式
大数据·数据仓库·hive·hadoop
棣廷1 天前
初识Hive(1)
数据仓库·hive·hadoop
Francek Chen1 天前
【大数据处理与分析】数据仓库Hive:07 Hive HA基本原理
大数据·数据仓库·hive·hadoop·数据分析
棣廷1 天前
初识Hadoop
大数据·hadoop·分布式
这个DBA有点耶1 天前
ELT工具选型:ETL与ELT差异、CDC同步机制与主流工具对比`
数据库·数据仓库·sql·database·dba·etl·数据库管理员
磁场转动100万匹1 天前
数仓分层到底在分什么:从 DWD 到 ADS,最后落到 ClickHouse
数据仓库·hive·hadoop
源图客2 天前
YARN介绍与实战
hadoop
buligbulig2 天前
Hadoop正在失败?不,它正在壮大
大数据·hadoop·分布式
Sayai3 天前
Hadoop 集群安全加固实战:YARN 未授权访问漏洞修复,firewalld 白名单 + Nginx 反向代理 Basic Auth 全流程
运维·hadoop·nginx·安全·网络安全
IT小小猪3 天前
# Hadoop 3.3.6 完全分布式集群部署知识库
hadoop·分布式·eclipse