分布式id探索

一、为什么要使用分布式id?

随着数据量增加,数据需要进行水平拆分,但表自增id无法满足唯一性;

二、分布式id的特点

1唯一性

2 趋势递增、单调递增(数据库中存放的数据结构数据从小到大有序排列),如果id不是单调递增,插入数据时为了维持平衡需要不停的做叶子节点的分裂与合并;

三、常用分布式id生成算法

1 uuid:32位16进制数字,36个字符;

优点:性能高,本地生成没有网络消耗;

缺点:过长不易于存储,信息不安全,基于MAC地址生成可能会造成MAC地址泄露

2 雪花算法:

第0位:符号位,始终为0,没用

第1~41位:用来表示时间戳,单位毫秒

第42~52位:前五位机房id,后五位机器id

第53~64位:用来表示序列号,序列号为自增,代表单台机器每秒能够产生的最大id 2 的12次方=4096;

优点:毫秒数在高位,自增序列在低位,id趋势递增;不依赖三方系统,稳定性高;

缺点:强依赖机器时钟,如果机器时钟回拨会导致重复id生成;(解决方法:缓存历史序列号,使用历史序列号直到它耗尽;等待时钟恢复;使用备用时间戳,即将上一次的时间戳加上一个安全间隔,防止重复生成;报警机制,严重时钟回拨时,人工干预;)

3 mysql用一张表专门生成id(读写磁盘网络开销大扩展性差)

4 redis生成(redis持久化会有丢失可能重复)

四、美团leaf算法

1 segment数据库方案,根据数据库中的表进行获取

批量获取分布式id,每次获取数量自定义;

缺点:id号不够随机;当批量获取的数据库id用尽时会产生毛刺现象;

2 雪花算法方案

依赖zk生成workid解决机器过多的问题;根据不同的方案解决始终回拨问题;

解决方案,新启动的机器通过拉去所有机器时间计算平均值,并与本机时间戳比较,判断当前时间戳是否符合;(缓存历史序列号,使用历史序列号直到它耗尽;等待时钟恢复;使用备用时间戳,即将上一次的时间戳加上一个安全间隔,防止重复生成;报警机制,严重时钟回拨时,人工干预;)

相关推荐
微三云 - 廖会灵 (私域系统开发)11 小时前
电商系统微服务拆分实战:从单体到Spring Cloud的分布式事务踩坑与补偿方案
分布式·spring cloud·微服务
ACP广源盛1392462567314 小时前
破局 PCIe 4.0 交换瓶颈@ACP#IX8024 / ASM58024参数及应用对比
大数据·人工智能·分布式·嵌入式硬件
淡然的煎蛋15 小时前
开始使用RabbitMQ
分布式·rabbitmq·ruby
笨鸟先飞的橘猫1 天前
skynet——分布式支持
分布式·skynet
ACP广源盛139246256732 天前
GSV6155 @ACP#工业车规 DP1.4 重定时器 Retimer
大数据·人工智能·分布式·嵌入式硬件
ACP广源盛139246256732 天前
GSV2221@ACP# DP1.4 MST 多流显示转换芯片国产工业多屏
大数据·人工智能·分布式·嵌入式硬件·spark
ACP广源盛139246256732 天前
GSV2231@ACP# 增强型 8K MST 多屏扩展芯片
大数据·人工智能·分布式·嵌入式硬件
虚心的百褶裙2 天前
远程调用服务架构设计及zookeeper技术详解(下篇)
分布式·zookeeper·云原生
清晨曦月2 天前
【从零构建分布式在线评测系统】二、Judge0服务器上的心跳程序
运维·服务器·分布式
万联WANFLOW2 天前
SD-WAN 控制平面高可用怎么做?SDWAN 控制器挂了,全网会发生什么
运维·网络·分布式·架构