Hive UDF自定义函数上线速记

0. 编写hive udf函数jar包

1. 永久函数上线

1.1 提交jar包至hdfs

使用命令or浏览器上传jar到hdfs,命令的话格式如下

hdfs dfs -put Linux目录 hdfs目录

示例:

sql 复制代码
hdfs dfs -put /home/mo/abc.jar /tmp

1.2 将 JAR 文件添加到 Hive 中

注意hdfs路径前面要加上hdfs://namenode/,如果是hdfs集群的话换成dfs.nameservices的值

sql 复制代码
ADD jar hdfs://namenode/user/hive/warehouse/abc.jar;

1.3 注册永久 UDF 函数

hdfs://namenode 和1.2步骤保持一致

CREATE FUNCTION myudf AS 'com.example.MyUDF' USING JAR 'hdfs://namenode/path/to/myudf.jar';

hive客户端返回成功即可正常使用

sql 复制代码
SELECT myudf(column_name) FROM my_table;

1.4 其他命令

查看所有函数

  • show functions;

删除udf函数

  • drop function XXXX
相关推荐
计算机编程-吉哥21 小时前
基于机器学习的城市交通拥堵分析与预测平台【计算机毕业设计选题·机器学习·随机森林算法】
hadoop·算法·随机森林·机器学习·课程设计·计算机毕业设计选题·大数据毕业设计选题推荐
fastjson_21 小时前
Hive3.1.3 安装使用
hive
计算机源码社1 天前
基于Hadoop+Spark的黄金市场历史数据特征分析与可视化大屏 基于K-Means聚类算法的黄金历史价格阶段划分研究
大数据·hadoop·python·数据挖掘·数据分析·spark·毕业设计
2601_962300811 天前
机器学习贴士:使用Python编写MapReduce
hadoop·python·机器学习·mapreduce·数据处理
爱吃火鸡面呀1 天前
HDFS 架构深度解析:从核心组件到数据读写全流程
hadoop·hdfs·架构
宽海智能仓储物流1 天前
航发自动化立体库异构系统改造:宽海智能30天联调技术全解析
运维·数据仓库·自动化
m0_547486662 天前
《大数据技术与应用:Hadoop和PySpark实现》全套PPT课件2026
大数据·hadoop
IT毕设梦工厂3 天前
计算机毕业设计选题推荐:基于大数据的印度上市公司财务指标数据可视化分析|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·python·信息可视化·spark·课程设计·大数据毕设项目
爱吃火鸡面呀3 天前
HDFS 文件读取流程深度解析:从客户端请求到数据落地的完整链路
大数据·hadoop·hdfs
程序员小羊!3 天前
医疗数据仓库ODS层敏感信息防护实战:7大关键策略
数据仓库