高并发系统-分布式唯一ID生成(六)-美团Leaf

紧接着上文高并发系统-分布式唯一ID生成(五)-百度UidGenerator

2. 生成方案

2.8 美团-Leaf

来自于美团开源。

There are no two identical leaves in the world > "世界上没有两片相同的树叶"

Leaf提供两种模式:Leaf-segment和Leaf-snowflake

2.8.1 Leaf-segment(号段模式)

美团的号段模式和之前实现高并发系统-分布式唯一ID生成(二)-号段模式及应用原理基本一致,利用数据库特性,并且做了客户端缓存优化。 主要改变如下:

  • 数据库自增主键方式每次获取ID都得读写一次数据库,造成数据库压力大。改为利用proxy server批量获取,每次获取一个segment(step决定大小)号段的值。用完之后再去数据库获取新的号段,可以大大的减轻数据库的压力。
  • 各个业务不同的发号需求用biz_tag字段来区分,每个biz-tag的ID获取相互隔离,互不影响。如果以后有性能需求需要对数据库扩容,不需要上述描述的复杂的扩容操作,只需要对biz_tag分库分表就行

数据库表设计如下:

sql 复制代码
+-------------+--------------+------+-----+-------------------+-----------------------------+
| Field       | Type         | Null | Key | Default           | Extra                       |
+-------------+--------------+------+-----+-------------------+-----------------------------+
| biz_tag     | varchar(128) | NO   | PRI |                   |                             |
| max_id      | bigint(20)   | NO   |     | 1                 |                             |
| step        | int(11)      | NO   |     | NULL              |                             |
| desc        | varchar(256) | YES  |     | NULL              |                             |
| update_time | timestamp    | NO   |     | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP |
+-------------+--------------+------+-----+-------------------+-----------------------------+

重要字段说明:biz_tag用来区分业务,max_id表示该biz_tag目前所被分配的ID号段的最大值,step表示每次分配的号段长度。原来获取ID每次都需要写数据库,现在只需要把step设置得足够大,比如1000。那么只有当1000个号被消耗完了之后才会去重新读写一次数据库。读写数据库的频率从1减小到了1/step

同时针对一次从数据库取一批数据,数据用完后再取数据采用缓存优化。即Leaf服务内部有两个号段缓存区segment。当前号段使用超过xx%,即使用另外线程更新下一个号段

1.优点

  • Leaf服务可以很方便的线性扩展,性能完全能够支撑大多数业务场景。
  • ID号码是趋势递增的8byte的64位数字,满足上述数据库存储的主键要求。
  • 容灾性高:Leaf服务内部有号段缓存,即使DB宕机,短时间内Leaf仍能正常对外提供服务。
  • 可以自定义max_id的大小,非常方便业务从原有的ID方式上迁移过来。

2.缺点

  • ID号码不够随机,能够泄露发号数量的信息,不太安全。
  • TP999数据波动大,当号段使用完之后还是会hang在更新数据库的I/O上,tg999数据会出现偶尔的尖刺。
  • DB宕机会造成整个系统不可用。

2.8.2 Leaf-snowflake 雪花算法模式

Leaf-snowflake方案完全沿用snowflake方案的bit位设计,即是"1+41+10+12"的方式组装ID号。对于workerID的分配,当服务集群数量较小的情况下,完全可以手动配置。Leaf服务规模较大,动手配置成本太高。

所以使用Zookeeper持久顺序节点的特性自动对snowflake节点配置wokerID。

启动顺序如下:

  1. 启动Leaf-snowflake服务,连接Zookeeper,在leaf_forever父节点下检查自己是否已经注册过(是否有该顺序子节点)。
  2. 如果有注册过直接取回自己的workerID(zk顺序节点生成的int类型ID号),启动服务。
  3. 如果没有注册过,就在该父节点下面创建一个持久顺序节点,创建成功后取回顺序号当做自己的workerID号,启动服务。

同时针对雪花算法的时间回拨问题,采用启动后定时上报时间给ZK,同时在启动时判断当前服务时间与ZK对应节点记录时间,如果比ZK时间早,则启动失败告警。(集群部署,一台失败不影响整体)

1. 优点

雪花算法优点,并解决的时间回拨问题

并发很高

2. 缺点

引入ZK,增加系统复杂度

2.8.3. 实践

按照官网方式操作

shell 复制代码
git clone git@github.com:Meituan-Dianping/Leaf.git
//按照上面的号段模式在工程里面配置好
cd leaf
mvn clean install -DskipTests
cd leaf-server

建表

sql 复制代码
mysql> CREATE TABLE `leaf_alloc` (
    ->   `biz_tag` varchar(128)  NOT NULL DEFAULT '',
    ->   `max_id` bigint(20) NOT NULL DEFAULT '1',
    ->   `step` int(11) NOT NULL,
    ->   `description` varchar(256)  DEFAULT NULL,
    ->   `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    ->   PRIMARY KEY (`biz_tag`)
    -> ) ENGINE=InnoDB;
Query OK, 0 rows affected (0.02 sec)

mysql> insert into leaf_alloc(biz_tag, max_id, step, description) values('leaf-segment-test', 1, 2000, 'Test leaf Segment Mode Get Id')
    -> ;
Query OK, 1 row affected (0.02 sec)

mysql>

配置Leaf配置文件

xml 复制代码
leaf.name=com.sankuai.leaf.opensource.test
leaf.segment.enable=true
leaf.jdbc.url=jdbc:mysql://xxx/leaf?autoReconnect=true&characterEncoding=UTF-8&useUnicode=true&connectTimeout=3000&socketTimeout=3000
leaf.jdbc.username=xxx
leaf.jdbc.password=xxx

leaf.snowflake.enable=false
#leaf.snowflake.zk.address=
#leaf.snowflake.port=

运行

arduino 复制代码
mvn spring-boot:run

运行测试

bash 复制代码
curl http://localhost:8080/api/segment/get/leaf-segment-test

参考
Leaf
Leaf------美团点评分布式ID生成系统

相关推荐
LuckyLay8 分钟前
Spring学习笔记_27——@EnableLoadTimeWeaving
java·spring boot·spring
向阳121821 分钟前
Dubbo负载均衡
java·运维·负载均衡·dubbo
Gu Gu Study31 分钟前
【用Java学习数据结构系列】泛型上界与通配符上界
java·开发语言
WaaTong1 小时前
《重学Java设计模式》之 原型模式
java·设计模式·原型模式
m0_743048441 小时前
初识Java EE和Spring Boot
java·java-ee
AskHarries1 小时前
Java字节码增强库ByteBuddy
java·后端
佳佳_1 小时前
Spring Boot 应用启动时打印配置类信息
spring boot·后端
小灰灰__1 小时前
IDEA加载通义灵码插件及使用指南
java·ide·intellij-idea
夜雨翦春韭1 小时前
Java中的动态代理
java·开发语言·aop·动态代理
程序媛小果2 小时前
基于java+SpringBoot+Vue的宠物咖啡馆平台设计与实现
java·vue.js·spring boot