Hive:transform和udf

工作中发现有时候会用到python脚本进行数据计算,但是现在貌似已经不这样再处理,一般使用封装好的udf函数。

transform的基本用法为:

transform中的值作为输入, 然后传递给python脚本,最后经过python的处理后,输出想要得到的字符串格式。

transform的基本语法为:

sql 复制代码
select transform(intput columns)
using 'python *.py'
as (output columns)

注意:在利用本地的python处理时,首先需要add file *.py;

参考文档
Hive的Transform和UDF
Hive------巧用transform处理复杂的字符串问题

相关推荐
yumgpkpm19 小时前
Cloudera CDH、CDP、Hadoop大数据+决策模型及其案例
大数据·hive·hadoop·分布式·spark·kafka·cloudera
小湘西1 天前
数仓分层架构详解2:ODS、DWD、DWS
大数据·数据库·数据仓库
小湘西1 天前
数仓分层架构详解:ODS、DWD、DWS
数据仓库·数据分析
德彪稳坐倒骑驴1 天前
Hive电商数据分析项目 过程记录
hive·hadoop·数据分析
yumgpkpm1 天前
华为 GaussDB 商业版(本地部署)部署方案及相关步骤
hive·hadoop·redis·elasticsearch·华为·kafka·gaussdb
俊哥大数据1 天前
【项目8】基于Hadoop+Hive+SpringBoot+Vue智慧社区大数据仓库项目
数据仓库·hive·hadoop
BOB-wangbaohai1 天前
软考-系统架构师-数据库系统(一)
数据仓库·软考·系统架构师·数据库设计
俊哥大数据2 天前
【项目6】基于Hadoop+Hive+Springboot+vue新闻资讯大数据仓库项目
数据仓库·hive·hadoop
梦想画家3 天前
从选型到落地:Trino赋能智能制造数据驱动实践
数据仓库·trino·分布式查询·联邦查询
奕成则成3 天前
Flink全面入门指南:从基础认知到BI数据仓库实践
大数据·数据仓库·flink