Hive:transform和udf

工作中发现有时候会用到python脚本进行数据计算,但是现在貌似已经不这样再处理,一般使用封装好的udf函数。

transform的基本用法为:

transform中的值作为输入, 然后传递给python脚本,最后经过python的处理后,输出想要得到的字符串格式。

transform的基本语法为:

sql 复制代码
select transform(intput columns)
using 'python *.py'
as (output columns)

注意:在利用本地的python处理时,首先需要add file *.py;

参考文档
Hive的Transform和UDF
Hive------巧用transform处理复杂的字符串问题

相关推荐
白日与明月1 小时前
Hive 中 UNION 与 UNION ALL
hive
白日与明月2 小时前
Hive 大表 Join 优化:从策略选择到倾斜处理
数据仓库·hive·hadoop
Java程序员威哥3 小时前
SpringBoot2.x与3.x自动配置注册差异深度解析:从原理到迁移实战
java·大数据·开发语言·hive·hadoop·spring boot·后端
王九思6 小时前
SQL网关 Kyuubi 系列——基本介绍
数据仓库·hive·hadoop·sql·spark
白日与明月8 小时前
面试备考-Hive窗口函数
hive·面试·职场和发展
白日与明月8 小时前
Hive中的大批量关键词匹配场景优化
数据仓库·hive·hadoop
阿杜杜不是阿木木10 小时前
基于 Flink 的 HomeAssistant 传感器数据从 Kafka 到 Hive 的存储方案
hive·flink·kafka
大鳥1 天前
企业级 Hive on Spark 开发规范
hive·hadoop·spark
90的程序爱好者1 天前
Kettle多张表数据抽取操作步骤
数据库·数据仓库·数据挖掘
QQ12958455041 天前
SSAS - 发货主题数据第1阶
数据仓库·数据分析