在大数据领域，Hive SQL 是一种常用的查询语言，用于在 Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能，制定一套规范化的 Hive SQL 开发规范至关重要。本文将介绍 Hive SQL 的基础知识，并提供一些规范化的开发指南，帮助您高效地编写 Hive SQL 查询。
本系列分为
Hive SQL 开发指南（二）使用（DDL、DML，DQL）
Hive SQL 开发指南（三）优化及常见异常
一、数据类型
整型
TINYINT -- 1字节整数
SMALLINT -- 2字节整数
INT -- 4字节整数
BIGINT - 8 字节整数
浮点型
FLOAT -- 单精度
DOUBLE -- 双精度
DECIMAL类型
DECIMAL(precision, scale)
使用 举例
CREATE TABLE table2024 (colTinyInt TINYINT);
CREATE TABLE table2024 (colInt INT);
CREATE TABLE table2024 (colSmallInt SMALLINT);
CREATE TABLE table2024 (colBigInt BIGINT);
CREATE TABLE table2024 (colFloat FLOAT);
CREATE TABLE table2024 (colDouble DOUBLE);
CREATE TABLE table2024 (a DECIMAL,b DECIMAL(9, 7));
日期类型
TIMESTAMP -- 时间戳类型
说明:
支持传统的unix时间戳,可选的纳秒级精度。
支持的转换:
整型数值类型：解读为以秒为单位的UNIX时间戳
浮动点数值类型：解读为以秒和小数精度为单位的UNIX时间戳。
字符串：JDBC兼容的java.sql.Timestamp格式"YYYY-MM-DD HH：MM：SS.fffffffff"（9位小数位精度）
时间戳被解释是与timezone无关，存储为从UNIX纪元的偏移量。提供便利的UDF和时区转换（to_utc_timestamp，from_utc_timestamp）。
所有现有datetime的UDF（月，日，年，小时，等）可以工作于TIMESTAMP数据类型。
DATE - 日期类型
使用 举例
create table timestamp_udf (t timestamp);
create table date_udf (t date);
字符类型
STRING -- 字符串序列
VARCHAR -- 可变字符串序列
CHAR -- 单字符字符
使用 举例
CREATE TABLE t1(colString STRING);
CREATE TABLE t1(colVarchar VARCHAR(10));
CREATE TABLE t1(colVarchar CHAR);
复合类型
arrays - 数组
maps - 字典
structs - 结构体
union - 联合体（数据组合）
使用 举例
创建数据库表，以array作为数据类型
create table person(name string,work_locations array<string>)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ',';
数据
biansutao beijing,shanghai,tianjin,hangzhou
linan changchu,chengdu,wuhan
创建数据库表，以map作为数据类型
create table score(name string, score map<string,int>)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':';
要入库的数据
biansutao '数学':80,'语文':89,'英语':95
jobs '语文':60,'数学':80,'英语':99
创建数据库表，以struct作为数据类型
CREATE TABLE test(id int,course struct<course:string,score:int>)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ',';
数据
1 english,80
2 math,89
3 chinese,95
数据组合 （不支持组合的复杂数据类型）
create table test1(id int,a MAP<STRING,ARRAY<STRING>>)
row format delimited fields terminated by '\t'
collection items terminated by ','
MAP KEYS TERMINATED BY ':';
1 english:80,90,70
2 math:89,78,86
3 chinese:99,100,82
其它 类型
BOOLEAN - TRUE/FALSE
BINARY - 二进制类型
使用 举例
CREATE TABLE t1(colBoolean BOOLEAN);
CREATE TABLE t1(colBoolean binary);
空值
NULL -- 空
使用 举例
SELECT * FROM gdr WHERE imsi IS NULL;
二、函数
汇函数（Aggregate Functions）
|------------------------------|-------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 返回类型 | 函数 | 说明 |
| bigint | count(*) , count(expr), count(DISTINCT expr[, expr_., expr_.]) | 返回记录条数。 |
| double | sum(col), sum(DISTINCT col) | 求和 |
| double | avg(col), avg(DISTINCT col) | 求平均值 |
| double | min(col) | 返回指定列中最小值 |
| double | max(col) | 返回指定列中最大值 |
| double | var_pop(col) | 返回指定列的方差 |
| double | var_samp(col) | 返回指定列的样本方差 |
| double | stddev_pop(col) | 返回指定列的偏差 |
| double | stddev_samp(col) | 返回指定列的样本偏差 |
| double | covar_pop(col1, col2) | 两列数值协方差 |
| double | covar_samp(col1, col2) | 两列数值样本协方差 |
| double | corr(col1, col2) | 返回两列数值的相关系数 |
| double | percentile(col, p) | 返回数值区域的百分比数值点。0<=P<=1,否则返回NULL,不支持浮点型数值。 |
| array<double> | percentile(col, array(p~1,,\ [, p,,2,,]...)) | 返回数值区域的一组百分比值分别对应的数值点。0<=P<=1,否则返回NULL,不支持浮点型数值。 |
| double | percentile_approx(col, p[, B]) | Returns an approximate p^th^ percentile of a numeric column (including floating point types) in the group. The B parameter controls approximation accuracy at the cost of memory. Higher values yield better approximations, and the default is 10,000. When the number of distinct values in col is smaller than B, this gives an exact percentile value. |
| array<double> | percentile_approx(col, array(p~1,, [, p,,2_]...) [, B]) | Same as above, but accepts and returns an array of percentile values instead of a single one. |
| array<struct\{'x','y'\}> | histogram_numeric(col, b) | Computes a histogram of a numeric column in the group using b non-uniformly spaced bins. The output is an array of size b of double-valued (x,y) coordinates that represent the bin centers and heights |
| array | collect_set(col) | 返回无重复记录 |
字符串函数
|----------------------------------|------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------------------|
| 返回类型 | 函数 | 说明 |
| int | length(string A) | 返回字符串的长度 |
| string | reverse(string A) | 返回倒序字符串 |
| string | concat(string A, string B...) | 连接多个字符串，合并为一个字符串，可以接受任意数量的输入字符串 |
| string | concat_ws(string SEP, string A, string B...) | 链接多个字符串，字符串之间以指定的分隔符分开。 |
| string | substr(string A, int start) substring(string A, int start) | 从文本字符串中指定的起始位置后的字符。 |
| string | substr(string A, int start, int len) substring(string A, int start, int len) | 从文本字符串中指定的位置指定长度的字符。 |
| string | upper(string A) ucase(string A) | 将文本字符串转换成字母全部大写形式 |
| string | lower(string A) lcase(string A) | 将文本字符串转换成字母全部小写形式 |
| string | trim(string A) | 删除字符串两端的空格，字符之间的空格保留 |
| string | ltrim(string A) | 删除字符串左边的空格，其他的空格保留 |
| string | rtrim(string A) | 删除字符串右边的空格，其他的空格保留 |
| string | regexp_replace(string A, string B, string C) | 字符串A中的B字符被C字符替代 |
| string | regexp_extract(string subject, string pattern, int index) | 通过下标返回正则表达式指定的部分。regexp_extract('foothebar', 'foo(.*?)(bar)', 2) returns 'bar.' |
| string | parse_url(string urlString, string partToExtract [, string keyToExtract]) | 返回URL指定的部分。parse_url('http://facebook.com/path1/p.php?k1=v1\&k2=v2#Ref1′, 'HOST') 返回：'facebook.com' |
| string | get_json_object(string json_string, string path) | select a.timestamp, get_json_object(a.appevents, '.eventid'), get_json_object(a.appenvets, '.eventname') from log a; |
| string | space(int n) | 返回指定数量的空格 |
| string | repeat(string str, int n) | 重复N次字符串 |
| int | ascii(string str) | 返回字符串中首字符的数字值 |
| string | lpad(string str, int len, string pad) | 返回指定长度的字符串，给定字符串长度小于指定长度时，由指定字符从左侧填补。 |
| string | rpad(string str, int len, string pad) | 返回指定长度的字符串，给定字符串长度小于指定长度时，由指定字符从右侧填补。 |
| array | split(string str, string pat) | 将字符串转换为数组。 |
| int | find_in_set(string str, string strList) | 返回字符串str第一次在strlist出现的位置。如果任一参数为NULL,返回NULL；如果第一个参数包含逗号，返回0。 |
| array<array<string>> | sentences(string str, string lang, string locale) | 将字符串中内容按语句分组，每个单词间以逗号分隔，最后返回数组。 例如sentences('Hello there! How are you?') 返回：( ("Hello", "there"), ("How", "are", "you") ) |
| array<struct<string,double>> | ngrams(array<array<string>>, int N, int K, int pf) | SELECT ngrams(sentences(lower(tweet)), 2, 100 [, 1000]) FROM twitter; |
| array<struct<string,double>> | context_ngrams(array<array<string>>, array<string>, int K, int pf) | SELECT context_ngrams(sentences(lower(tweet)), array(null,null), 100, [, 1000]) FROM twitter; |
日期和时间函数
|--------|---------------------------------------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 返回类型 | 函数 | 说明 |
| string | from_unixtime(bigint unixtime[, string format]) | UNIX_TIMESTAMP参数表示返回一个值'YYYY- MM -- DD HH：MM：SS'或YYYYMMDDHHMMSS.uuuuuu格式，这取决于是否是在一个字符串或数字语境中使用的功能。该值表示在当前的时区。 |
| bigint | unix_timestamp() | 如果不带参数的调用，返回一个Unix时间戳（从'1970- 01 -- 0100:00:00′到现在的UTC秒数）为无符号整数。 |
| bigint | unix_timestamp(string date) | 指定日期参数调用UNIX_TIMESTAMP（），它返回参数值'1970- 01 -- 0100:00:00′到指定日期的秒数。 |
| bigint | unix_timestamp(string date, string pattern) | 指定时间输入格式，返回到1970年秒数：unix_timestamp('2009-03-20′, 'yyyy-MM-dd') = 1237532400 参考：JDK 21 Documentation - Home |
| string | to_date(string timestamp) | 返回时间中的年月日： to_date("1970-01-01 00:00:00″) = "1970-01-01″ |
| string | to_dates(string date) | 给定一个日期date，返回一个天数（0年以来的天数） |
| int | year(string date) | 返回指定时间的年份，范围在1000到9999，或为"零"日期的0。 |
| int | month(string date) | 返回指定时间的月份，范围为1至12月，或0一个月的一部分，如'0000-00-00′或'2008-00-00′的日期。 |
| int | day(string date) dayofmonth(date) | 返回指定时间的日期 |
| int | hour(string date) | 返回指定时间的小时，范围为0到23。 |
| int | minute(string date) | 返回指定时间的分钟，范围为0到59。 |
| int | second(string date) | 返回指定时间的秒，范围为0到59。 |
| int | weekofyear(string date) | 返回指定日期所在一年中的星期号，范围为0到53。 |
| int | datediff(string enddate, string startdate) | 两个时间参数的日期之差。 |
| int | date_add(string startdate, int days) | 给定时间，在此基础上加上指定的时间段。 |
| int | date_sub(string startdate, int days) | 给定时间，在此基础上减去指定的时间段。 |
数学函数
|------------|---------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 返回类型 | 函数 | 说明 |
| BIGINT | round(double a) | 四舍五入 |
| DOUBLE | round(double a, int d) | 小数部分d位之后数字四舍五入，例如round(21.263,2),返回21.26 |
| BIGINT | floor(double a) | 对给定数据进行向下舍入最接近的整数。例如floor(21.2),返回21。 |
| BIGINT | ceil(double a), ceiling(double a) | 将参数向上舍入为最接近的整数。例如ceil(21.2),返回23. |
| double | rand(), rand(int seed) | 返回大于或等于0且小于1的平均分布随机数（依重新计算而变） |
| double | exp(double a) | 返回e的n次方 |
| double | ln(double a) | 返回给定数值的自然对数 |
| double | log10(double a) | 返回给定数值的以10为底自然对数 |
| double | log2(double a) | 返回给定数值的以2为底自然对数 |
| double | log(double base, double a) | 返回给定底数及指数返回自然对数 |
| double | pow(double a, double p) power(double a, double p) | 返回某数的乘幂 |
| double | sqrt(double a) | 返回数值的平方根 |
| string | bin(BIGINT a) | 返回二进制格式，参考：[http://dev.mysql.com/doc/refman/5.0/en/string-functions.html#function_hex](#function_hex string hex(BIGINT a) hex(string a) 将整数或字符转换为十六进制格式。参考：http://dev.mysql.com/doc/refman/5.0/en/string-functions.html#function_hex string unhex(string a) 十六进制字符转换由数字表示的字符。 string conv(BIGINT num, int from_base, int to_base) 将指定数值，由原来的度量体系转换为指定的试题体系。例如CONV(‘a’,16,2),返回。参考：’1010′ http://dev.mysql.com/doc/refman/5.0/en/mathematical-functions.html#function_conv double abs(double a) 取绝对值 int double pmod(int a, int b) pmod(double a, double b) 返回a除b的余数的绝对值 double sin(double a) 返回给定角度的正弦值 double asin(double a) 返回x的反正弦，即是X。如果X是在-1到1的正弦值，返回NULL。 double cos(double a) 返回余弦 double acos(double a) 返回X的反余弦，即余弦是X，，如果-1<= A <= 1，否则返回null. int double positive(int a) positive(double a) 返回A的值，例如positive(2)，返回2。 int double negative(int a) negative(double a) 返回A的相反数，例如negative(2),返回-2。) |
| string | hex(BIGINT a) hex(string a) | 将整数或字符转换为十六进制格式。参考：[http://dev.mysql.com/doc/refman/5.0/en/string-functions.html#function_hex](#function_hex string hex(BIGINT a) hex(string a) 将整数或字符转换为十六进制格式。参考：http://dev.mysql.com/doc/refman/5.0/en/string-functions.html#function_hex string unhex(string a) 十六进制字符转换由数字表示的字符。 string conv(BIGINT num, int from_base, int to_base) 将指定数值，由原来的度量体系转换为指定的试题体系。例如CONV(‘a’,16,2),返回。参考：’1010′ http://dev.mysql.com/doc/refman/5.0/en/mathematical-functions.html#function_conv double abs(double a) 取绝对值 int double pmod(int a, int b) pmod(double a, double b) 返回a除b的余数的绝对值 double sin(double a) 返回给定角度的正弦值 double asin(double a) 返回x的反正弦，即是X。如果X是在-1到1的正弦值，返回NULL。 double cos(double a) 返回余弦 double acos(double a) 返回X的反余弦，即余弦是X，，如果-1<= A <= 1，否则返回null. int double positive(int a) positive(double a) 返回A的值，例如positive(2)，返回2。 int double negative(int a) negative(double a) 返回A的相反数，例如negative(2),返回-2。) |
| string | unhex(string a) | 十六进制字符转换由数字表示的字符。 |
| string | conv(BIGINT num, int from_base, int to_base) | 将指定数值，由原来的度量体系转换为指定的试题体系。例如CONV('a',16,2),返回。参考：'1010′ http://dev.mysql.com/doc/refman/5.0/en/mathematical-functions.html#function_conv |
| double | abs(double a) | 取绝对值 |
| int double | pmod(int a, int b) pmod(double a, double b) | 返回a除b的余数的绝对值 |
| double | sin(double a) | 返回给定角度的正弦值 |
| double | asin(double a) | 返回x的反正弦，即是X。如果X是在-1到1的正弦值，返回NULL。 |
| double | cos(double a) | 返回余弦 |
| double | acos(double a) | 返回X的反余弦，即余弦是X，，如果-1<= A <= 1，否则返回null. |
| int double | positive(int a) positive(double a) | 返回A的值，例如positive(2)，返回2。 |
| int double | negative(int a) negative(double a) | 返回A的相反数，例如negative(2),返回-2。 |
条件函数
|------|------------------------------------------------------------|--------------------------------------|
| 返回类型 | 函数 | 说明 |
| T | if(boolean testCondition, T valueTrue, T valueFalseOrNull) | 判断是否满足条件，如果满足返回一个值，如果不满足则返回另一个值。 |
| T | COALESCE(T v1, T v2, ...) | 返回一组数据中，第一个不为NULL的值，如果均为NULL,返回NULL。 |
| T | CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END | 当a=b时,返回c；当a=d时，返回e，否则返回f。 |
| T | CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END | 当值为a时返回b,当值为c时返回d。否则返回e。 |
类型转换函数
|-----------|------------------------|------------------------------------------------------|
| 返回类型 | 函数 | 说明 |
| 指定 "type" | cast(expr as <type>) | 类型转换。例如将字符"1″转换为整数:cast('1′ as bigint)，如果转换失败返回NULL。 |
三、运算符
算术运算符
|--------|--------|---------------------------------------------------------------------------|
| 运算符 | 类型 | 说明 |
| A + B | 所有数字类型 | A和B相加。结果的与操作数值有共同类型。例如每一个整数是一个浮点数，浮点数包含整数。所以，一个浮点数和一个整数相加结果也是一个浮点数。 |
| A -- B | 所有数字类型 | A和B相减。结果的与操作数值有共同类型。 |
| A * B | 所有数字类型 | A和B相乘，结果的与操作数值有共同类型。需要说明的是，如果乘法造成溢出，将选择更高的类型。 |
| A / B | 所有数字类型 | A和B相除，结果是一个double（双精度）类型的结果。 |
| A % B | 所有数字类型 | A除以B余数与操作数值有共同类型。 |
| A & B | 所有数字类型 | 运算符查看两个参数的二进制表示法的值，并执行按位"与"操作。两个表达式的一位均为1时，则结果的该位为 1。否则，结果的该位为 0。 |
| A|B | 所有数字类型 | 运算符查看两个参数的二进制表示法的值，并执行按位"或"操作。只要任一表达式的一位为 1，则结果的该位为 1。否则，结果的该位为 0。 |
| A ^ B | 所有数字类型 | 运算符查看两个参数的二进制表示法的值，并执行按位"异或"操作。当且仅当只有一个表达式的某位上为 1 时，结果的该位才为 1。否则结果的该位为 0。 |
| ~A | 所有数字类型 | 对一个表达式执行按位"非"（取反）。 |
逻辑运算符
|----------|-----|----------------------------------------------------|
| 运算符 | 类型 | 说明 |
| A AND B | 布尔值 | A和B同时正确时,返回TRUE,否则FALSE。如果A或B值为NULL，返回NULL。 |
| A && B | 布尔值 | 与"A AND B"相同 |
| A OR B | 布尔值 | A或B正确,或两者同时正确返返回TRUE,否则FALSE。如果A和B值同时为NULL，返回NULL。 |
| A | B | 布尔值 | 与"A OR B"相同 |
| NOT A | 布尔值 | 如果A为NULL或错误的时候返回TURE，否则返回FALSE。 |
| ! A | 布尔值 | 与"NOT A"相同 |
比较运算符
|---------------|--------|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 运算符 | 类型 | 说明 |
| A = B | 所有原始类型 | 如果A与B相等,返回TRUE,否则返回FALSE |
| A == B | 无 | 失败，因为无效的语法。 SQL使用"="，不使用"=="。 |
| A <> B | 所有原始类型 | 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为"NULL"，结果返回"NULL"。 |
| A < B | 所有原始类型 | 如果A小于B返回TRUE,否则返回FALSE。如果A或B值为"NULL"，结果返回"NULL"。 |
| A <= B | 所有原始类型 | 如果A小于等于B返回TRUE,否则返回FALSE。如果A或B值为"NULL"，结果返回"NULL"。 |
| A > B | 所有原始类型 | 如果A大于B返回TRUE,否则返回FALSE。如果A或B值为"NULL"，结果返回"NULL"。 |
| A >= B | 所有原始类型 | 如果A大于等于B返回TRUE,否则返回FALSE。如果A或B值为"NULL"，结果返回"NULL"。 |
| A IS NULL | 所有类型 | 如果A值为"NULL"，返回TRUE,否则返回FALSE |
| A IS NOT NULL | 所有类型 | 如果A值不为"NULL"，返回TRUE,否则返回FALSE |
| A LIKE B | 字符串 | 如果A或B值为"NULL"，结果返回"NULL"。字符串A与B通过sql进行匹配，如果相符返回TRUE，不符返回FALSE。B字符串中 的""代表任一字符，"%"则代表多个任意字符。例如： ('foobar' like 'foo')返回FALSE，（ 'foobar' like 'foo _ _'或者 'foobar' like 'foo%')则返回TURE |
| A RLIKE B | 字符串 | 如果A或B值为"NULL"，结果返回"NULL"。字符串A与B通过java进行匹配，如果相符返回TRUE，不符返回FALSE。例如：（ 'foobar' rlike 'foo'）返回FALSE，（'foobar' rlike '^f.*r$' ）返回TRUE。 |
| A REGEXP B | 字符串 | 与RLIKE相同。 |