Hive自定义函数

前言

想与你们共同学习,想与你们一起努力,想得到你们的支持与喜欢~

内置函数

复制代码
# 查看hive内置函数
show functions;

# 查看函数描述信息
desc function max;

用户自定义函数UDF

UDF:user-defined function

操作作用于单个数据行,并且产生一个数据行作为输出。大多数函数都属于这一类(比如数学函数和字符串函数)。length('abc') = 3

1. 用户自定义函数-UDF

导入依赖:

复制代码
<dependencies>
        <dependency>
                <groupId>org.apache.hive</groupId>
                <artifactId>hive-exec</artifactId>
                <version>3.1.2</version>
        </dependency>
</dependencies>

2. 定义类

复制代码
# 1.定义一个类继承UDF
1. 必须继承UDF
2. 方法名必须是evaluate
java 复制代码
package function;

import org.apache.hadoop.hive.ql.exec.UDF;

public class HelloUDF extends UDF {
    public String evaluate(String s1){
        return "你好,"+s1;
    }

}

3. 配置maven打包环境,打包jar

java 复制代码
<properties>
    <!--解决编码的GBK的问题-->
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<build>
        <finalName>funcHello</finalName>
</build>
java 复制代码
# 打包
mvn package

3. jar包上传linux,导入到函数库中

4. 在hive中执行命令

java 复制代码
# 在hive命令中执行
add jar /opt/data/funcHello.jar; # hive session级别的添加,
delete jar /opt/data/funcHello.jar; # 如果重写,记得删除。

create temporary function hello as "function.HelloUDF"; # temporary是会话级别。
# 删除导入的函数
drop temporary function hello;

5. 查看函数并使用函数

java 复制代码
-- 1. 查看函数
desc function hello;
-- 2. 使用函数进行查询
select hello(name) from t_person;

永久函数和临时函数

java 复制代码
临时函数和永久函数的区别:临时函数仅对当前session(黑窗口)有效。永久函数是全局的。

1. 临时函数
        1.1 添加jar包的两种方法
            方法一: add jar /home/hadoop/lib/hive-1.0-SNAPSHOT.jar;
            方法二: 在hive的文件夹下面创建auxlib文件夹,将jar包上传到auxlib文件夹下面,重启hive。

        1.2 创建临时函数
             语法:CREATE TEMPORARY FUNCTION function_name AS class_name;  
                    function_name函数名   
                    class_name 类路径,包名+类名
                    
        1.3 删除临时函数
            语法:DROP TEMPORARY FUNCTION [IF EXISTS] function_name;
            
2. 永久函数
       2.1 在HDFS上创建hivelib目录,将jar包上传到HDFS的hivelib目录下
           hdfs dfs -mkidr /hivelib
           hdfs dfs -put funcHello.jar /hive/lib
       2.1 创建永久函数的语法:
            CREATE FUNCTION [db_name.]function_name AS class_name USING JAR 'hdfs://hadoop10:8020/hivelib/funcHello.jar'
相关推荐
XF鸭1 天前
在Hive中,将数据从一个表查询并插入到另一个表
数据仓库·hive·hadoop
viperrrrrrrrrr71 天前
大数据学习(96)-Hive面试题
大数据·hive·学习
麻芝汤圆2 天前
MapReduce 的广泛应用:从数据处理到智能决策
java·开发语言·前端·hadoop·后端·servlet·mapreduce
随缘而动,随遇而安2 天前
第四十篇 企业级数据仓库建模深度实践:从理论到落地的维度建模全攻略
大数据·数据库·数据仓库·数据分析·数据库架构
一个天蝎座 白勺 程序猿2 天前
大数据(4.4)Hive多表JOIN终极指南:7大关联类型与性能优化实战解析
hive·hadoop·性能优化
weixin_307779132 天前
判断HiveQL语句为ALTER TABLE语句的识别函数
开发语言·数据仓库·hive·c#
麓殇⊙3 天前
使用注解开发springMVC
数据仓库·hive·hadoop
北随琛烬入3 天前
Spark(10)配置Hadoop集群-集群配置
java·hadoop·spark
蒋星熠3 天前
在VMware下Hadoop分布式集群环境的配置--基于Yarn模式的一个Master节点、两个Slaver(Worker)节点的配置
大数据·linux·hadoop·分布式·ubuntu·docker
SelectDB技术团队3 天前
Apache Doris 2.1.9 版本正式发布
大数据·数据仓库·数据分析·doris·数据湖·湖仓一体·日志数据