Hive:transform和udf

工作中发现有时候会用到python脚本进行数据计算,但是现在貌似已经不这样再处理,一般使用封装好的udf函数。

transform的基本用法为:

transform中的值作为输入, 然后传递给python脚本,最后经过python的处理后,输出想要得到的字符串格式。

transform的基本语法为:

sql 复制代码
select transform(intput columns)
using 'python *.py'
as (output columns)

注意:在利用本地的python处理时,首先需要add file *.py;

参考文档
Hive的Transform和UDF
Hive------巧用transform处理复杂的字符串问题

相关推荐
Databend19 小时前
Databend 2025:海量数据 × AI 一体化底座,v1.3 即将发布
大数据·数据仓库
心止水j20 小时前
hive问题
数据仓库·hive·hadoop
心止水j21 小时前
hive桶
数据仓库·hive·hadoop
心止水j21 小时前
hive 分区总结
数据仓库·hive·hadoop
走遍西兰花.jpg21 小时前
在hive中实现拉链表的更新和merge into
数据仓库·hive·hadoop
zgl_200537791 天前
ZGLanguage 解析SQL数据血缘 之 提取子查询语句中的源表名
大数据·数据库·数据仓库·hive·hadoop·sql·etl
是阿威啊1 天前
【用户行为归因分析项目】- 【企业级项目开发第五站】数据采集并加载到hive表
大数据·数据仓库·hive·hadoop·spark·scala
心止水j2 天前
数据库问题
数据仓库·hive·hadoop
yumgpkpm2 天前
网易数帆EasyData使用Cloudera CDP、CMP(华为鲲鹏版)作为底座的AI功能操作步骤
大数据·hive·hadoop·深度学习·kafka·transformer·cloudera
yumgpkpm2 天前
网易数帆EasyData使用Cloudera CDP、CMP(华为鲲鹏版)作为底座的ChatBI方案
大数据·hive·hadoop·华为·zookeeper·kafka·cloudera