Hive:transform和udf

工作中发现有时候会用到python脚本进行数据计算,但是现在貌似已经不这样再处理,一般使用封装好的udf函数。

transform的基本用法为:

transform中的值作为输入, 然后传递给python脚本,最后经过python的处理后,输出想要得到的字符串格式。

transform的基本语法为:

sql 复制代码
select transform(intput columns)
using 'python *.py'
as (output columns)

注意:在利用本地的python处理时,首先需要add file *.py;

参考文档
Hive的Transform和UDF
Hive------巧用transform处理复杂的字符串问题

相关推荐
IT成长日记1 小时前
【Hive入门】Hive高级特性:事务表与ACID特性详解
数据仓库·hive·hadoop·事务·acid
wangzhongyudie5 小时前
SQL实战:04之SQL中的分组问题求解
数据库·hive·sql
专注于大数据技术栈9 小时前
pyspark将hive数据写入Excel文件中
hive·hadoop·python·excel
weixin_3077791313 小时前
使用Python和Pandas实现的Azure Synapse Dedicated SQL pool权限检查与SQL生成用于IT审计
数据仓库·python·sql·pandas·azure
weixin_3077791314 小时前
使用Python和Pandas实现的Snowflake权限检查与SQL生成用于IT审计
数据仓库·python·sql·云计算·pandas
佟格湾17 小时前
大型连锁酒店集团数据仓库应用示例
数据仓库
多多*1 天前
SQL语句练习 自学SQL网 多表查询
数据库·数据仓库·hive·hadoop·sql·mysql·mybatis
镜舟科技1 天前
大数据平台与数据仓库的核心差异是什么?
starrocks·数据仓库·数据湖·大数据平台·湖仓一体·物化视图·流式湖仓
IT成长日记2 天前
【Hive入门】Hive性能优化:执行计划分析EXPLAIN命令的使用
hive·hadoop·性能优化·explain·执行计划分析
wangzhongyudie2 天前
SQL实战:03之SQL中的递归查询
数据库·hive·sql