Hive UDF自定义函数上线速记

0. 编写hive udf函数jar包

略

1. 永久函数上线

1.1 提交jar包至hdfs

使用命令or浏览器上传jar到hdfs,命令的话格式如下

hdfs dfs -put Linux目录 hdfs目录

示例:

sql 复制代码
hdfs dfs -put /home/mo/abc.jar /tmp

1.2 将 JAR 文件添加到 Hive 中

注意hdfs路径前面要加上hdfs://namenode/,如果是hdfs集群的话换成dfs.nameservices的值

sql 复制代码
ADD jar hdfs://namenode/user/hive/warehouse/abc.jar;

1.3 注册永久 UDF 函数

hdfs://namenode 和1.2步骤保持一致

CREATE FUNCTION myudf AS 'com.example.MyUDF' USING JAR 'hdfs://namenode/path/to/myudf.jar';

hive客户端返回成功即可正常使用

sql 复制代码
SELECT myudf(column_name) FROM my_table;

1.4 其他命令

查看所有函数

  • show functions;

删除udf函数

  • drop function XXXX
相关推荐
注塑机数据采集联网12 小时前
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
测试盐17 小时前
spark作业日志定位过程
java·hadoop·spark
roman_日积跬步-终至千里18 小时前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
步行cgn18 小时前
为什么既要 web.xml 又要 springmvc.xml?能不能只配一个?
xml·前端·hive
程序员梅雨2 天前
【从零开始学习数据仓库 | 第二篇】: 拉链表 & 数仓分层
大数据·数据仓库·学习
NiceZack2 天前
Hadoop 部署全流程教程:从新装 CentOS 到伪分布式与完全分布式
hadoop·分布式·centos
roman_日积跬步-终至千里2 天前
数仓开发的三层责任:业务定义、模型设计与 SQL 实现
数据库·数据仓库·sql·数据建模
@小匠2 天前
Flink + Iceberg 批量失败复盘:一次超时如何变成 Hive Metastore 锁泄漏
大数据·hive·flink
geovindu3 天前
SQL Data Sampling and Approximation Techniques using postgreSQL 18
大数据·数据库·数据仓库·sql·postgresql·数据库开发·数据库架构
skywalk81633 天前
hive —— 多机 AI Agent 协同的任务总线:分布式,多节点同时运行,保障不会宕机
人工智能·hive·分布式