数据仓库技术及应用（Hive函数）

一、Hive函数

1.函数概述

从函数输入与输出角度来看，函数可分为：

（1）标准函数

以一行数据中心的一列或多列数据作为输入参数，返回的结果是一个值的函数。

（2）聚合函数

以多行中的零个到多个列的数据作为输入，返回单一值的函数。

（3）表生成函数

接受零个或多个输入，产生多列或多行输出。

2.查看函数

show functions命令可以显示当前Hive会话中所加载的所有函数，包括内置函数与自定义函数。

sql 复制代码

#查看函数详情，在Hive命令行中运行命令
DESCRIBE FUNCTIONS <function_name>;

函数更多详细文档可以通过增加EXTENDED关键字查看。

3.调用函数

调用函数直接在HiveSQL中使用函数名调用，如需传入参数，直接传入相应参数即可调用。

函数调用可在SELECT与WHERE子句中实现，具体包含下面3种典型情况：

sql 复制代码

# table 表中选取 col1 和 col2 列的值，并将它们连接成一个字符串，作为结果集的一列
SELECT concat(col1,col2) AS x FROM table;

# 连接两个字符串常量 'abc' 和 'def'，并返回连接后的结果
SELECT concat('abc','def');

# 从 table 表中选取所有列的数据，并筛选出 col 列的长度小于 10 的记录。
SELECT * FROM table WHERE length(col)<10;

二、内置函数

字符处理
类型转换
聚合运算
数学计算
日期计算

1.字符函数

|----------------------|----------------------------------|----------------------------------------------------------------|
| 返回值 | 函数签名 | 描述 |
| string | concat(a, b,...) | 它返回从a后串联b产生的字符串 |
| string | concat_ws(sep,a,b,...) | 与concat类似，但第一个参数为指定的连接符 |
| string | concat_ws(sep,array<string>) | 与concat_ws类似，但拼接的是指定array中的元素 |
| array<> | split(str,pat) | 按正则表达式pat来分割字符串str，并将分割后的结果以数组返回 |
| map<string,string> | str_to_map(text[,deli1,deli2]) | 将字符串转换为map，第一个参数是需要转换的字符串，第二个参数是元素之间分隔符，默认","，第三个参数是键值分隔符默认"=" |
| int | instr(str,substr) | 查找字符串str中子字符串substr出现的位置，如果查找失败返回0 |
| string | substr(a,start[,len]) | 对字符串a从start位置开始截取长度为len的字符串并返回 |
| int | locate(substr,str[,pos]) | 查找字符串str中pos位置后字符串substr第一次出现的位置 |
| int | length(a) | 返回字符串长度 |
| string | lower(a) | 将字符串中所有字母转换成小写 |
| string | upper(a) | 将字符串中所有字母转换成大写 |

sql 复制代码

# 在零售数据顾客表中转换顾客姓名为全大写
select upper(concat_ws('',customer_fname,customer_lname))as fullname
from customers limit 10;

2.聚合函数

常用包括count、sum、max/min、avg等。与标准函数的不同之处在于，聚合函数是在一组多行数据中进行计算并返回单一值的函数。

3.类型转换函数

如下表：

|----------|------------------------|---------------------------|
| 返回值 | 函数签名 | 描述 |
| binary | binary(string|binary) | 将输入的值转换成二进制 |
| <type> | cast(expr as <type>) | 将expr转换成type类型，转换失败返回NULL |

4.数学函数

通常针对数据类型进行操作。

|--------|-------------------|-----------------------|
| double | round(a) | 返回对a四舍五入的值，小数位为0 |
| double | round(a,d) | 返回对a四舍五入的值，并且保留d位小数 |
| bigint | floor(a) | 向下取整，如floor(3.84) = 3 |
| double | rand(),rand(seed) | 返回随机数，可指定随机因子seed |

5.日期函数

|--------|------------------------------------|------------------------------------------|
| 返回值 | 函数签名 | 描述 |
| string | from_unixtime(unixtime[,format]) | 将时间的秒值转换成format格式，如"yyyy-MM-dd hh:mm:ss" |
| bigint | unix_timestamp() | 获取当前本地时区下的时间戳 |
| bigint | unix_timestamp(date) | 将"yyyy-MM-dd hh:mm:ss"格式的时间字符串转为时间戳 |
| string | to_data(timestamp) | 返回时间字符串的日期部分 |
| int | year(date) | 返回时间字符串的年份部分 |
| int | month(date) | 返回时间字符串的月份部分 |
| int | day(date) | 返回时间字符串的天 |
| int | hour(date) | 返回时间字符串的小时 |
| int | minute(date) | 返回时间字符串的分钟 |
| int | second(date) | 返回时间字符串的秒钟 |
| int | datediff(startdate,enddate) | 计算开始时间到结束时间的天数 |
| string | date_add(startdate,days) | 从startdate时间开始加上days天 |
| string | date_sub(startdate,days) | 从startdate时间开始减去days天 |

sql 复制代码

# 统计月度订单数量
select from_unixtime(unix_timestamp(order_date),"yyyy-MM")as year_month,
count(order_id) from orders
group by from_unixtime(unix_timestamp(order_date),"yyyy-MM")

6.条件函数

|---------|-------------------------------------------------------|-------------------------------------------------|
| 返回值 | 函数签名 | 描述 |
| T | if(testCondition,valueTrue,valueFalseOrNull) | 如果testCondition为True，返回valueTrue，否则返回valueFalse |
| boolean | isnull(a) | 如果a为Null返回True，否则返回False |
| boolean | isnotnull(a) | 如果a不为Null返回True，否则返回False |
| T | nvl(value,defaultValue) | 如果value为Null，返回defaultValue，否则返回value |
| T | coalesce(v1,v2,...) | 返回第一个非Null的值，如coalesce(NULL,1,2)=1 |
| T | case a when b then c [when d then e] [else f] end | 当a=b时返回c，当a=d时返回e，否则返回f |
| T | case when a then b [when c then d] [else e] end | 当a=true返回b，当c=true返回d否则返回e |
| void | assert_true(condition) | 用于测试，当condition=false抛出异常 |

sql 复制代码

#  根据商品价格将商品分为3个级别：0~100、100~200及200以上，并分别统计各档商品个数。
select level,count(*)from ( select *,
case when product_price<100 then 1
when product_price between 100 and 200 then 2
else 3 end as level
from products ) as a group by level;

7.集合函数

集合函数用于对集合进行操作。

eg.雇员表empdb.emp，使用集合函数查询其中所有员工所在部门的名称及总数。

sql 复制代码

use empdb;
select name,map_keys(depart_title),size(depart_title)from emp;

8.表生成函数

可以将一个或多个输入值转换为多行输出，该输出可以作为表来使用。

eg.(1)使用表生成函数将如下数据生成为表。

['Apple','Orange','Mongo']

['A':'Apple','O':'Orange']

sql 复制代码

select explode(array('Apple','Orange','Mongo'));
select explode(map('A','Apple','O','Orange'));

(2)将json字符串"{"name":"Jason","age":"18"}"转换为表

sql 复制代码

select json_tuple('{"name":"Jason","age":"18"}','name','age');