Insight h2database auto increment 实现原理

起因

最近排查线上问题发现业务 Table 自增id 不连续,进一步发现是事务回滚造成。

sql 复制代码
-- 上述问题示例。 这样的情况就导致 main_table 自增id 并不连续/出现空挡。
START TRANSACTION;
-- 执行成功,自增id 已分配
INSERT INTO main_table VALUES (?, ?, ?);
-- 执行失败,事务 rollback
INSERT INTO sub_table VALUES (?, ?, ?);

那么,自增id 在数据库中是什么样的机制?可以从 H2 数据库实现方案获得启发。

auto_increment Example

sql 复制代码
-- h2 auto_increment 建表语句
create table test(id bigint auto_increment, name varchar(255));
insert into test(name) values('hello');
insert into test(name) values('world');
select * from test;

通过打开 H2 数据库文件,可以看到 test 建表语句是按照H2 dalect 翻译的 。可以看到H2 数据库的auto_increment 是通过 SEQUENC 实现的

java 复制代码
CREATE CACHED TABLE PUBLIC.TEST(
 ID BIGINT DEFAULT (NEXT VALUE FOR PUBLIC.SYSTEM_SEQUENCE_620D39CD) NOT NULL NULL_TO_DEFAULT SEQUENCE PUBLIC.SYSTEM_SEQUENCE_620D39CD,
 NAME VARCHAR(255)
)

SEQUENCE Example

官方文档 create_sequence

sql 复制代码
-- Sequence can produce only integer values.
CREATE SEQUENCE SEQ_ID;
CREATE SEQUENCE SEQ2 AS INTEGER START WITH 10;

Used values are never re-used, even when the transaction is rolled back.

Code Insight

①相关的类

org.h2.command.dml.Insert

org.h2.expression.SequenceValue

org.h2.schema.Sequence

②主要实现原理

creat table 实例化过程

java 复制代码
// @see org.h2.command.ddl.CreateTable#update
for (Column c :data.columns) {
    // 如果列定义为 auto_increment, 需要进行dialet 翻译。
    if (c.isAutoIncrement()) {
        int objId = getObjectId();
        // 
        c.convertAutoIncrementToSequence(session, getSchema(), objId, data.temporary);
    }
}
java 复制代码
/**
 * Convert the auto-increment flag to a sequence that is linked with this
 * table.
 *
 * @see org.h2.table.Column#convertAutoIncrementToSequence
 */
public void convertAutoIncrementToSequence(Session session, Schema schema, int id, boolean temporary) {
    // 生成唯一的 sequenceName
    while (true) {
        ValueUuid uuid = ValueUuid.getNewRandom();
        String s = uuid.getString();
        s = s.replace('-', '_').toUpperCase();
        sequenceName = "SYSTEM_SEQUENCE_" + s;
        if (schema.findSequence(sequenceName) == null) {
            break;
        }
    }
    // Sequence 实例化,实现自增生成唯一数据
    Sequence seq = new Sequence(schema, id, sequenceName, start, increment);
    if (temporary) {
        seq.setTemporary(true);
    } else {
        // CREATE SEQUENCE, 数据库 Schema 持久化
        session.getDatabase().addSchemaObject(session, seq);
    }
    setAutoIncrement(false, 0, 0);
    // 把Sequence 包装为表达式片段
    SequenceValue seqValue = new SequenceValue(seq);
    setDefaultExpression(session, seqValue);
    setSequence(seq);
}

Insert 过程

java 复制代码
// 遍历 Table 的 columns 和 参数Expression, 执行值填充
for (int i = 0; i < columnLen; i++) {
    Column c = columns[i];
    int index = c.getColumnId();
    // 获取 Value Expression
    Expression e = expr[i];
    if (e != null) {
        try {
            // 如果是SequenceValue, 生成自增数字
            Value v = c.convert(e.getValue(session));
            newRow.setValue(index, v);
        } catch (DbException ex) {
            throw setRow(ex, x, getSQL(expr));
        }
    }
}

③自增计算

java 复制代码
/**
 * Get the next value for this sequence.
 *
 * @param session the session
 * @return the next value
 */
public synchronized long getNext(Session session) {
    // valueWithMargin 计算, flush 过程...
    long v = value;
    value += increment;
    return v;
}

总结

  • H2 database 是java 编写的数据库,简单易懂,对于数据库实现原理是个很好参考。

  • 通过阅读数据库的实现,对于应用开发帮助很大,可以适当的扬长避短。

  • 对于SQL 规范,每种数据库都有对应的实现方式,dalect。

相关推荐
lpruoyu11 分钟前
MySQL整理【03】事务隔离级别和MVCC
数据库·mysql
a5876920 分钟前
消息队列(MQ)高级特性深度剖析:详解RabbitMQ与Kafka
java·分布式·面试·kafka·rabbitmq·linq
代码雕刻家25 分钟前
3.1.Maven-课程介绍
java·maven
li357431 分钟前
深入理解:MQ监听类 vs Spring事件监听类 —— 区别、用法与适用场景全解析
java·数据库·spring
灵感蛙44 分钟前
《苍穹外卖》项目日记_Day7
java·spring boot·redis
lifallen1 小时前
KafkaStreams 计算图节点设计:ProcessorNode、SourceNode、SinkNode
java·数据结构·算法·kafka·apache
索迪迈科技1 小时前
java后端工程师进修ing(研一版‖day42)
java·开发语言·学习·算法
半桔1 小时前
【Linux手册】消息队列从原理到模式:底层逻辑、接口实战与责任链模式的设计艺术
java·linux·运维·服务器
安然~~~1 小时前
mysql的索引
数据库·mysql
GBASE1 小时前
GBASE南大通用技术分享:GBase 8s数据库典型安装(命令行方式)
数据库