Hive UDF自定义函数上线速记

0. 编写hive udf函数jar包

1. 永久函数上线

1.1 提交jar包至hdfs

使用命令or浏览器上传jar到hdfs,命令的话格式如下

hdfs dfs -put [Linux目录] [hdfs目录]

示例:

sql 复制代码
hdfs dfs -put /home/mo/abc.jar /tmp

1.2 将 JAR 文件添加到 Hive 中

注意hdfs路径前面要加上hdfs://namenode/,如果是hdfs集群的话换成dfs.nameservices的值

sql 复制代码
ADD jar hdfs://namenode/user/hive/warehouse/abc.jar;

1.3 注册永久 UDF 函数

hdfs://namenode 和1.2步骤保持一致

CREATE FUNCTION myudf AS 'com.example.MyUDF' USING JAR 'hdfs://namenode/path/to/myudf.jar';

hive客户端返回成功即可正常使用

sql 复制代码
SELECT myudf(column_name) FROM my_table;

1.4 其他命令

查看所有函数

  • show functions;

删除udf函数

  • drop function XXXX
相关推荐
元6332 小时前
spark和hadoop之间的对比和联系
大数据·hadoop·spark
哥不是小萝莉4 小时前
Hadoop和Spark大数据挖掘与实战
hadoop·ai·spark
lix的小鱼5 小时前
spark和Hadoop之间的对比和联系
大数据·hadoop·spark
晴天彩虹雨7 小时前
Flink 数据清洗与字段标准化最佳实践
大数据·数据仓库·flink
TTBIGDATA8 小时前
如何将 Apache Hudi 接入 Ambari?完整部署与验证指南
大数据·hadoop·ambari·hudi·bigtop·湖仓·自定义组件集成
IT成长日记10 小时前
【Hive入门】Hive数据导出完全指南:从HDFS到本地文件系统的专业实践
hive·hadoop·hdfs·数据导出
向上的车轮11 小时前
数据湖DataLake和传统数据仓库Datawarehouse的主要区别是什么?优缺点是什么?
数据仓库
IT成长日记11 小时前
【Hive入门】Hive概述:大数据时代的数据仓库桥梁
大数据·数据仓库·hive·sql优化·分布式计算
大数据魔法师13 小时前
Hadoop生态圈框架部署 - Windows上部署Hadoop
大数据·hadoop·windows
渣渣盟13 小时前
大数据开发环境的安装,配置(Hadoop)
大数据·hadoop·分布式