Hive自定义函数

前言

想与你们共同学习,想与你们一起努力,想得到你们的支持与喜欢~

内置函数

复制代码
# 查看hive内置函数
show functions;

# 查看函数描述信息
desc function max;

用户自定义函数UDF

UDF:user-defined function

操作作用于单个数据行,并且产生一个数据行作为输出。大多数函数都属于这一类(比如数学函数和字符串函数)。length('abc') = 3

1. 用户自定义函数-UDF

导入依赖:

复制代码
<dependencies>
        <dependency>
                <groupId>org.apache.hive</groupId>
                <artifactId>hive-exec</artifactId>
                <version>3.1.2</version>
        </dependency>
</dependencies>

2. 定义类

复制代码
# 1.定义一个类继承UDF
1. 必须继承UDF
2. 方法名必须是evaluate
java 复制代码
package function;

import org.apache.hadoop.hive.ql.exec.UDF;

public class HelloUDF extends UDF {
    public String evaluate(String s1){
        return "你好,"+s1;
    }

}

3. 配置maven打包环境,打包jar

java 复制代码
<properties>
    <!--解决编码的GBK的问题-->
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<build>
        <finalName>funcHello</finalName>
</build>
java 复制代码
# 打包
mvn package

3. jar包上传linux,导入到函数库中

4. 在hive中执行命令

java 复制代码
# 在hive命令中执行
add jar /opt/data/funcHello.jar; # hive session级别的添加,
delete jar /opt/data/funcHello.jar; # 如果重写,记得删除。

create temporary function hello as "function.HelloUDF"; # temporary是会话级别。
# 删除导入的函数
drop temporary function hello;

5. 查看函数并使用函数

java 复制代码
-- 1. 查看函数
desc function hello;
-- 2. 使用函数进行查询
select hello(name) from t_person;

永久函数和临时函数

java 复制代码
临时函数和永久函数的区别:临时函数仅对当前session(黑窗口)有效。永久函数是全局的。

1. 临时函数
        1.1 添加jar包的两种方法
            方法一: add jar /home/hadoop/lib/hive-1.0-SNAPSHOT.jar;
            方法二: 在hive的文件夹下面创建auxlib文件夹,将jar包上传到auxlib文件夹下面,重启hive。

        1.2 创建临时函数
             语法:CREATE TEMPORARY FUNCTION function_name AS class_name;  
                    function_name函数名   
                    class_name 类路径,包名+类名
                    
        1.3 删除临时函数
            语法:DROP TEMPORARY FUNCTION [IF EXISTS] function_name;
            
2. 永久函数
       2.1 在HDFS上创建hivelib目录,将jar包上传到HDFS的hivelib目录下
           hdfs dfs -mkidr /hivelib
           hdfs dfs -put funcHello.jar /hive/lib
       2.1 创建永久函数的语法:
            CREATE FUNCTION [db_name.]function_name AS class_name USING JAR 'hdfs://hadoop10:8020/hivelib/funcHello.jar'
相关推荐
喻师傅2 小时前
横扫SQL面试——流量与转化率分类
大数据·数据仓库·sql
小白不想白a16 小时前
【Hadoop】Zookeeper、HBase、Sqoop
hadoop·分布式·zookeeper·hbase·sqoop
小白不想白a17 小时前
【Hadoop】YARN、离线计算框架MapReduce、Hive
大数据·hive·hadoop·mapreduce·yarn
不辉放弃18 小时前
为什么hive在处理数据时,有的累加是半累加数据
数据仓库·hive·hadoop
Lx3521 天前
Hadoop集群资源管理:合理分配CPU和内存资源
大数据·hadoop
IT研究室1 天前
大数据毕业设计选题推荐-基于大数据的城市空气污染数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·bigdata·选题推荐
Lx3521 天前
MapReduce内存调优:避免OOM的黄金法则
大数据·hadoop
lifallen2 天前
Hadoop MapReduce 任务/输入数据 分片 InputSplit 解析
大数据·数据结构·hadoop·分布式·算法
小白不想白a3 天前
【Hadoop】HDFS 分布式存储系统
hadoop·分布式·hdfs
IT毕设梦工厂3 天前
大数据毕业设计选题推荐-基于大数据的丙型肝炎患者数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·spark·毕业设计·源码·bigdata