Hive UDF自定义函数上线速记

0. 编写hive udf函数jar包

1. 永久函数上线

1.1 提交jar包至hdfs

使用命令or浏览器上传jar到hdfs,命令的话格式如下

hdfs dfs -put [Linux目录] [hdfs目录]

示例:

sql 复制代码
hdfs dfs -put /home/mo/abc.jar /tmp

1.2 将 JAR 文件添加到 Hive 中

注意hdfs路径前面要加上hdfs://namenode/,如果是hdfs集群的话换成dfs.nameservices的值

sql 复制代码
ADD jar hdfs://namenode/user/hive/warehouse/abc.jar;

1.3 注册永久 UDF 函数

hdfs://namenode 和1.2步骤保持一致

CREATE FUNCTION myudf AS 'com.example.MyUDF' USING JAR 'hdfs://namenode/path/to/myudf.jar';

hive客户端返回成功即可正常使用

sql 复制代码
SELECT myudf(column_name) FROM my_table;

1.4 其他命令

查看所有函数

  • show functions;

删除udf函数

  • drop function XXXX
相关推荐
咖啡里的茶i43 分钟前
在Docker环境中安装Hadoop cluster 实验报告一
hadoop·docker·容器
青春万岁!!1 小时前
hive模型数据异常-作业调度问题
大数据·数据仓库·hive
白日与明月9 小时前
Hive分桶机制应用
数据仓库·hive·hadoop
Msshu12310 小时前
XSP25全协议 100W PD快充诱骗芯片_串口读电压电流信息
hive·云计算·json·database·memcached
水火既济__10 小时前
大数据hive_mr压缩问题
大数据·hive·mr
水火既济__10 小时前
hive中加载json数据建表(大规模)
hive·hadoop·json
承渊政道14 小时前
数据删了不等于销毁:KingbaseES敏感数据物理擦除实战指南
运维·服务器·数据库·数据仓库·安全·oracle·业界资讯
修先生1 天前
Hive Udf函数AES加密
hive·aes·udf
SeaTunnel2 天前
Apache SeaTunnel 4 月有何新动作?连接器增强与 Zeta 稳定性提升等亮点速览
大数据·数据仓库·spark·apache·seatunnel
Volunteer Technology2 天前
HDFS源码(二)
大数据·hadoop·hdfs