Hive中生成自增序列的常用方法

Relian哈哈2023-10-07 5:05

在日常业务开发过程中，通常遇到需要hive数据表中生成一列唯一ID，当然连续递增的更好。

最近在结算业务中，需要在hive表中生成一列连续且唯一的账单ID，于是就了解生成唯一ID的方法

1. 利用row_number函数

语法：row_number() over(order by step)+start_num

step表示每次递增多少

start_num表示从哪个值开始递增，不写默认是0

如下：表示从10000开始，每次递增1

sql 复制代码

SELECT row_number() over(order by 1)+10000

因此输出是10001

如果有其他值，也可以拼接其它值，比如列date是20231010

sql 复制代码

SELECT CONCAT(date,row_number() over(order by 1)+10000) AS auto_increment_id

因此输出是2023101010001

首先Hive环境要有hive-contrib相关jar包

定义函数row_sequence

复制代码

create temporary function row_sequence as 'org.apache.hadoop.hive.contrib.udf.UDFRowSequence';

使用函数row_sequence

sql 复制代码

SELECT row_sequence() AS auto_increment_id

row_sequence的自增规则是我们自己定义的，至于怎么定义，就看我们的逻辑是怎么实现

第一种方法row_number

在一次SQL运行中是全局递增的，只不过再次执行SQL就会重复，如果不想重复我们可以更改start_num的值，把start_num调整到我们认为的不会重复的值开始

或者拼接上日期或者时间戳等前缀，这样每次执行就不会重复

第二种方法UDFRowSequence

由于是我们自己定义的函数，而SQL任务是以分布式的运行的，一个SQL并发可能会有多个job执行，每个job可以理解为1个节点或者进程，在每个进程上运营的序列都从起始值开始，所以不能保证序号全局连续唯一。因此我们可以借助第三方存储记录，比如Redis，来保证生产序列的全局连续递增