Hive UDF自定义函数上线速记

0. 编写hive udf函数jar包

略

1. 永久函数上线

1.1 提交jar包至hdfs

使用命令or浏览器上传jar到hdfs,命令的话格式如下

hdfs dfs -put Linux目录 hdfs目录

示例:

sql 复制代码
hdfs dfs -put /home/mo/abc.jar /tmp

1.2 将 JAR 文件添加到 Hive 中

注意hdfs路径前面要加上hdfs://namenode/,如果是hdfs集群的话换成dfs.nameservices的值

sql 复制代码
ADD jar hdfs://namenode/user/hive/warehouse/abc.jar;

1.3 注册永久 UDF 函数

hdfs://namenode 和1.2步骤保持一致

CREATE FUNCTION myudf AS 'com.example.MyUDF' USING JAR 'hdfs://namenode/path/to/myudf.jar';

hive客户端返回成功即可正常使用

sql 复制代码
SELECT myudf(column_name) FROM my_table;

1.4 其他命令

查看所有函数

  • show functions;

删除udf函数

  • drop function XXXX
相关推荐
father_122711 小时前
【ambari管理下hdp2.6.5升级hive1.2.1-2.1.0-2.3.3】
hive·hadoop·ambari
geovindu13 小时前
Pivoting and Unpivoting Data in SQL using postgreSQL 18
大数据·数据库·数据仓库·sql·postgresql·数据库开发·数据库架构
数据库小学妹14 小时前
OLAP数据库怎么选?看清OLTP、数仓、湖仓边界
数据仓库·mpp·列式存储·联机分析处理·数据库选型·olap数据库
magic_kid_201017 小时前
HDFS 故障复盘:千万级 block 导致 FBR 超过 128 MiB,DataNode 被判定为 dead
大数据·hadoop·hdfs·hadoop 故障
小刘在重生~1 天前
Servlet_day2 (上)|Servlet 整合 JDBC|请求转发 forward|Request 作用域
hive·hadoop·servlet
程序 代码狂人1 天前
切片表与分区表的区别(数据开发面试版)
java·大数据·开发语言·数据仓库·算法
天河归来1 天前
从原始消息到业务数据:三层数据架构的设计与实践
数据库·数据仓库·架构
螺蛳粉 螺蛳粉1 天前
CDH第四篇:CDH 元数据库实战:MySQL 5.7.22 二进制安装 + 三库三账号授权全记录
hive·mysql5.7·centos7·元数据·cdh·oozie·数据库部署
chunyublog2 天前
FinalShell 远程连接 Hadoop 三节点集群教程
大数据·hadoop·分布式