Hive自定义函数

前言

想与你们共同学习,想与你们一起努力,想得到你们的支持与喜欢~

内置函数

复制代码
# 查看hive内置函数
show functions;

# 查看函数描述信息
desc function max;

用户自定义函数UDF

UDF:user-defined function

操作作用于单个数据行,并且产生一个数据行作为输出。大多数函数都属于这一类(比如数学函数和字符串函数)。length('abc') = 3

1. 用户自定义函数-UDF

导入依赖:

复制代码
<dependencies>
        <dependency>
                <groupId>org.apache.hive</groupId>
                <artifactId>hive-exec</artifactId>
                <version>3.1.2</version>
        </dependency>
</dependencies>

2. 定义类

复制代码
# 1.定义一个类继承UDF
1. 必须继承UDF
2. 方法名必须是evaluate
java 复制代码
package function;

import org.apache.hadoop.hive.ql.exec.UDF;

public class HelloUDF extends UDF {
    public String evaluate(String s1){
        return "你好,"+s1;
    }

}

3. 配置maven打包环境,打包jar

java 复制代码
<properties>
    <!--解决编码的GBK的问题-->
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<build>
        <finalName>funcHello</finalName>
</build>
java 复制代码
# 打包
mvn package

3. jar包上传linux,导入到函数库中

4. 在hive中执行命令

java 复制代码
# 在hive命令中执行
add jar /opt/data/funcHello.jar; # hive session级别的添加,
delete jar /opt/data/funcHello.jar; # 如果重写,记得删除。

create temporary function hello as "function.HelloUDF"; # temporary是会话级别。
# 删除导入的函数
drop temporary function hello;

5. 查看函数并使用函数

java 复制代码
-- 1. 查看函数
desc function hello;
-- 2. 使用函数进行查询
select hello(name) from t_person;

永久函数和临时函数

java 复制代码
临时函数和永久函数的区别:临时函数仅对当前session(黑窗口)有效。永久函数是全局的。

1. 临时函数
        1.1 添加jar包的两种方法
            方法一: add jar /home/hadoop/lib/hive-1.0-SNAPSHOT.jar;
            方法二: 在hive的文件夹下面创建auxlib文件夹,将jar包上传到auxlib文件夹下面,重启hive。

        1.2 创建临时函数
             语法:CREATE TEMPORARY FUNCTION function_name AS class_name;  
                    function_name函数名   
                    class_name 类路径,包名+类名
                    
        1.3 删除临时函数
            语法:DROP TEMPORARY FUNCTION [IF EXISTS] function_name;
            
2. 永久函数
       2.1 在HDFS上创建hivelib目录,将jar包上传到HDFS的hivelib目录下
           hdfs dfs -mkidr /hivelib
           hdfs dfs -put funcHello.jar /hive/lib
       2.1 创建永久函数的语法:
            CREATE FUNCTION [db_name.]function_name AS class_name USING JAR 'hdfs://hadoop10:8020/hivelib/funcHello.jar'
相关推荐
派可数据BI可视化11 小时前
CIO如何规划企业BI分析指标体系 —— 从经营出发到绩效管理
数据仓库·信息可视化·数据挖掘·数据分析·商业智能bi
大数据狂人12 小时前
从 Hive 数仓出发,全面剖析 StarRocks、MySQL、HBase 的使用场景与区别
hive·mysql·hbase
青木川崎1 天前
Hive_sql如何计算连续签到天数
hive·hadoop·sql
Jay Kay1 天前
hive新增列之后插入新数据时,新列为NULL的解决办法
数据仓库·hive·hadoop
Zhang.jialei1 天前
HiveMQ 2024.9 设计与开发文档
hive·物联网·activemq
weixin_307779132 天前
ClickHouse Windows迁移方案与测试
linux·c++·数据仓库·windows·clickhouse
喻师傅2 天前
数据治理:DQC(Data Quality Center,数据质量中心)概述
大数据·数据仓库·数据治理
jzy37112 天前
Hive SQL溯源秘籍:基于YARN Timeline的SQL执行全链路追踪
hadoop·apache hive
Java烘焙师2 天前
架构师必备:实时对账与离线对账
hive·mysql·架构·对账
正在走向自律2 天前
SelectDB数据库,新一代实时数据仓库的全面解析与应用
数据库·数据仓库·实时数据仓库·selectdb·云原生存算分离·x2doris 迁移工具·mysql 协议兼容