Hive:transform和udf

工作中发现有时候会用到python脚本进行数据计算,但是现在貌似已经不这样再处理,一般使用封装好的udf函数。

transform的基本用法为:

transform中的值作为输入, 然后传递给python脚本,最后经过python的处理后,输出想要得到的字符串格式。

transform的基本语法为:

sql 复制代码
select transform(intput columns)
using 'python *.py'
as (output columns)

注意:在利用本地的python处理时,首先需要add file *.py;

参考文档
Hive的Transform和UDF
Hive------巧用transform处理复杂的字符串问题

相关推荐
AllData公司负责人19 小时前
AllData数据中台通过集成开源项目Apache IOTDB Web相关项目,建设物联网数据库平台
数据仓库·物联网·时序数据库·iotdb·工业物联网·apache iotdb·物联网数据库平台
Leo.yuan19 小时前
数据仓库是什么?数据仓库和BI有什么区别?
数据仓库
heimeiyingwang2 天前
【架构实战】ETL架构演进:从批处理到实时流处理
数据仓库·架构·etl
素玥2 天前
实训4 ETL构建中间层
数据仓库·etl
苛子2 天前
ETL与ELT的区别与选择:企业数据集成方案深度对比
数据仓库·etl
清水白石0082 天前
Python 日志采集到数据仓库 ETL 流程设计实战:从基础语法到生产级可靠运维
数据仓库·python·etl
2501_933329552 天前
企业舆情处置系统设计与实践:Infoseek数字公关AI中台技术解析
数据仓库·人工智能·重构·架构·数据库开发
莫叫石榴姐2 天前
字节广告数开一面 | 实习
大数据·数据仓库·面试
2501_933329553 天前
AI驱动媒介宣发:Infoseek舆情系统的技术架构与公关实战
数据仓库·人工智能·重构·数据库开发
heimeiyingwang3 天前
【架构实战】数据仓库分层架构(ODS/DWD/DWS/ADS)
数据仓库·架构