Hive:transform和udf

工作中发现有时候会用到python脚本进行数据计算,但是现在貌似已经不这样再处理,一般使用封装好的udf函数。

transform的基本用法为:

transform中的值作为输入, 然后传递给python脚本,最后经过python的处理后,输出想要得到的字符串格式。

transform的基本语法为:

sql 复制代码
select transform(intput columns)
using 'python *.py'
as (output columns)

注意:在利用本地的python处理时,首先需要add file *.py;

参考文档
Hive的Transform和UDF
Hive------巧用transform处理复杂的字符串问题

相关推荐
都是蠢货19 小时前
Servlet的生命周期
hive·hadoop·servlet
yumgpkpm21 小时前
接入Impala、Hive 的AI平台、开源大模型的国内厂商(星环、Doris、智谱AI、Qwen、DeepSeek、 腾讯混元、百川智能)
人工智能·hive·hadoop·zookeeper·spark·开源·hbase
笨蛋少年派2 天前
Sqoop数据迁移简介
hive·hadoop·sqoop
云闲不收2 天前
clickhouse hbase Hive 区别
hive·clickhouse·hbase
RestCloud3 天前
神州通用数据库的 ETL 集成方案:兼容性与性能实战
数据库·数据仓库·etl·数据处理·数据集成·数据传输·神州通用
士心凡3 天前
数据仓库教程
大数据·数据仓库·spark
一颗宁檬不酸3 天前
《Java Web 期末项目分享:MVC+DBUtils+c3p0 玩转数据库增删改查》——第一弹
数据仓库·hive·hadoop
丸码3 天前
Servlet生命周期全解析
数据仓库·hive·hadoop
士心凡3 天前
Hive教程
数据仓库·hive·hadoop
元拓数智3 天前
IntaLink:破解数仓建设痛点,重塑高效建设新范式
大数据·数据仓库·人工智能·数据关系·intalink