Hive:transform和udf

工作中发现有时候会用到python脚本进行数据计算,但是现在貌似已经不这样再处理,一般使用封装好的udf函数。

transform的基本用法为:

transform中的值作为输入, 然后传递给python脚本,最后经过python的处理后,输出想要得到的字符串格式。

transform的基本语法为:

sql 复制代码
select transform(intput columns)
using 'python *.py'
as (output columns)

注意:在利用本地的python处理时,首先需要add file *.py;

参考文档
Hive的Transform和UDF
Hive------巧用transform处理复杂的字符串问题

相关推荐
沃达德软件1 天前
电信诈骗预警平台功能解析
大数据·数据仓库·人工智能·深度学习·机器学习·数据库开发
AI_56782 天前
Hive SQL优化:分区表+分桶表提升查询效率
人工智能·hive·ai
莫叫石榴姐3 天前
数据开发需求工时如何评估?
大数据·数据仓库·人工智能·数据分析·产品运营
xiaomici4 天前
SAC - Addin
数据仓库
edisao4 天前
第三章 合规的自愿
jvm·数据仓库·python·神经网络·决策树·编辑器·动态规划
Aloudata4 天前
NoETL 指标平台与现有数据中台、治理体系的融合之道
数据仓库·数据分析·自动化·etl·noetl
2501_927283585 天前
你的仓库,还停留在“人找货”的时代吗?
运维·数据仓库·人工智能·自动化·wms
莽撞的大地瓜5 天前
新浪舆情通秒级预警筑牢舆情应急第一防线
大数据·数据库·数据仓库·数据分析
旺仔Sec5 天前
手把手教你从零搭建 Hive 2.3.6 + MySQL 元数据存储(含视频教程)
hive·hadoop·mysql
人道领域6 天前
SSM框架从入门到入土(SpringMVC入门开发全流程解析)
数据仓库·hive·hadoop