Hive:transform和udf

工作中发现有时候会用到python脚本进行数据计算,但是现在貌似已经不这样再处理,一般使用封装好的udf函数。

transform的基本用法为:

transform中的值作为输入, 然后传递给python脚本,最后经过python的处理后,输出想要得到的字符串格式。

transform的基本语法为:

sql 复制代码
select transform(intput columns)
using 'python *.py'
as (output columns)

注意:在利用本地的python处理时,首先需要add file *.py;

参考文档
Hive的Transform和UDF
Hive------巧用transform处理复杂的字符串问题

相关推荐
fastjson_3 小时前
Hive 复杂数据类型
数据仓库·hive·hadoop
roman_日积跬步-终至千里6 小时前
量化投研中的缓慢变化维:从因子定义到回测可复现的底层逻辑
大数据·数据仓库·金融
hopsky8 小时前
《Hive性能调优实战》核心内容详细解读
数据仓库·hive·hadoop
楠楠子呀2 天前
独立站聊天转化全链路:从二维码引流到数据复盘
java·javascript·数据仓库·python·c#·自动化·etl
熊出没3 天前
AI经营分析数据中台如何搭建数仓
数据仓库
熊出没3 天前
解密数仓中的ODS、DWD、DWS、ADS
数据库·数据仓库
等一个人的@4 天前
数睿通2.0更新:可视化ETL引擎重构与部署优化
数据仓库·重构·etl
学代码的CJY5 天前
Codex + Obsidian:搭建你的 AI 知识库(保姆级教程)
数据仓库·人工智能
糖醋_诗酒6 天前
数据仓库 - 转转 - 一面凉经
数据仓库