【赵渝强老师】国产金仓数据库的物理存储结构

数据库实例初始化的时候会创建一个目录，通常都会在系统配置相关的环境变量$KINGBASE_DATA来表示。当数据库初始化完成后，会在这个目录生成相关的子目录以及一些文件。下图就是金仓数据库的物理结构：

视频讲解如下
【赵渝强老师】国产金仓数据库的物理存储结构

下表说明了其中的每个目录的功能与作用。

金仓数据库的物理存储结构主要是指硬盘上存储的文件，包括：数据文件、日志文件、参数文件、控制文件、WAL预写日志文件等等。下面分别进行介绍。

一、 数据文件

顾名思义，数据文件用于存储数据，文件名以oid命名。对于超出1G的数据文件，金仓数据库会自动将其拆分为多个文件来存储，而拆分的文件名将由sys_class中的relfilenode字段来决定。通过下面的步骤可以确定表所对应的数据文件。

（1）查看数据库的oid。

kingbase=# select oid,datname from sys_database;

# 输出的信息如下：  
  oid  |  datname  
-------+-----------
 14791 | test
 14792 | kingbase
     1 | template1
 14790 | template0
 14793 | security
 16384 | scott
(6 行记录)

# 14792 是数据库kingbase的OID。

（2）查询前面创建的testtable1表的OID。

kingbase=# select oid,relname,relkind,relfilenode from sys_class where relname ='testtable1';

# 输出的信息如下：  
  oid  |  relname   | relkind | relfilenode 
-------+------------+---------+-------------
 16428 | testtable1 | r       |       16428
(1 行记录)

# 16428 是表testtable1的OID。

（3）查看表空间mydemotbs对应的目录，如下图所示。

二、 日志文件

金仓数据库的日志文分为运行日志、WAL预写日志、事务日志和服务器日志。下面分别进行介绍。

2.1 运行日志（sys_log）

在默认的情况下，运行日志没有开启。通过查看主kingbase.conf文件的配置可以看到相关的参数设置，开启后会自动生成该日志文件。运行时日志一般是记录数据库服务器与数据库的状态，比如各种错误信息、定位慢查询SQL、数据库的启动关闭信息、发生检查点过于频繁等的告警信息等等。该日志有.csv格式和.log格式，建议使用.csv格式。因为.csv格式一般会按大小和时间自动切割。sys_log是可以被清理删除、压缩打包或者转移，同时不影响数据库的正常运行。当有遇到数据库无法启动或者更改参数没有生效时，第一步就可以查看运行时日志。下图展示了主参数文件kingbase.conf中关于运行日志的配置参数。

2.2 WAL预写日志（sys_wal）

sys_wal 这个目录是记录的KingBaseES的WAL信息。WAL是Write Ahead Logging的缩写，即预写日志，它是保证数据完整性的一种标准方法。简单来说就是在KingBaseES数据库中要对数据文件进行修改时必须先写入WAL日志信息，即当WAL日志记录完成了持久化，刷新到永久储存之后才能更改数据文件。根据这个原则就不需要在每次提交事务的时候都刷新数据到磁盘。因为当数据库出现宕机发生数据丢失时，可以重新执行WAL日志来达到恢复数据库的目的。因此WAL日志也可以叫做redo重做日志，因为任何没有写到数据文件上的改动都可以根据日志记录进行重做。在默认的情况下，单个WAL预写日志文件的大小是16M，通过参数wal_segment_size决定。

kingbase=# show wal_segment_size;

# 输出的信息如下：
 wal_segment_size 
------------------
 16MB
(1 行记录)

# 源码安装编译的时候可以通过指定下面的参数更改其大小：
./configure --with-wal-segsize=target_value

在默认情况下，WAL日志保存在sys_wal目录下，例如：

[kingbase@kingbase sys_wal]$ pwd
/home/kingbase/kdb/kes_oracle_instance/sys_wal
[kingbase@kingbase sys_wal]$ tree
.
├── 000000010000000000000006
├── 000000010000000000000007
├── 000000010000000000000008
├── 000000010000000000000009
├── 00000001000000000000000A
└── archive_status

1 directory, 5 files

# WAL日志文件名称为16进制的24个字符组成，每8个字符一组，每组的意义如下：
# 00000001  00000000  00000001
# 时间线    逻辑ID	     物理ID

当一个WAL预写日志文件写满时会自动切换到下一个WAL预写日志文件，而WAL切换的方式也可以是手动切换。例如，当执行sys_switch_wal()后WAL会切换到新的日志。下面展示了操作的过程：

-- 查看当前已有的WAL日志文件
kingbase=# select * from sys_ls_waldir();
           name           |   size   |      modification      
--------------------------+----------+------------------------
 000000010000000000000001 | 16777216 | 2025-09-20 22:04:53+08
(1 row)

-- 进行WAL的手动切换
kingbase=# select sys_switch_wal();
 sys_switch_wal 
----------------
 0/602D258
(1 行记录)

-- 再次查看当前已有的WAL日志文件
kingbase=# select * from sys_ls_waldir();
           name           |   size   |      modification      
--------------------------+----------+------------------------
 000000010000000000000001 | 16777216 | 2025-09-20 22:06:31+08
 000000010000000000000002 | 16777216 | 2025-09-20 22:06:31+08
(2 rows)

-- 通过查看sys_wal目录，此时将生成一个新的WAL日志文件。
[kingbase@kingbase sys_wal]$ tree
.
├── 000000010000000000000001
├── 000000010000000000000002
└── archive_status

1 directory, 2 files

金仓数据库使用WAL优势主要有以下两个方面：

• 首先，由于在数据库数据发生变更时会先将WAL日志缓冲区中的重做日志写入磁盘，因此即使在数据库发生宕机时，数据缓冲区中的数据还没有全部写入到永久存储中的情况下，也可以通过磁盘上的WAL日志信息来恢复数据库丢失的数据；
• 其次，在提交事务操作时仅仅是把WAL日志写入到磁盘上，并不会将数据刷新到磁盘。因此，从I/O次数来说，刷新WAL日志的次数要比刷新数据文件的次数少得多；从IO花销来说，WAL刷新是连续I/O，而数据刷新是随机I/O，因此，WAL刷新花销小得多。

下图说明了数据提交与WAL日志写入时的关系：

在kingbase.conf文件中关于WAL的配置参数主要有以下几个：

wal_level = replica
fsync = on
max_wal_size = 1GB
min_wal_size = 80MB

# 其中：wal_level参数的可选的值有以下三个，级别依次增高，记录的WAL信息也越多。
# （1）minimal：不能通过基础备份和WAL日志恢复数据库。
# （2）replica：该级别支持WAL归档和复制。
# （3）logical：在replica级别的基础上添加了支持逻辑解码所需的信息。
# fsync：强制同步来实现数据安全保证。

当WAL日志文件的大小超过max_wal_size参数设置时，将发生WAL日志信息的覆盖，从而造成日志信息的丢失。因此为了保证数据的安全，建议在生产环境中开启WAL的归档模式。

由于WAL日志文件采用了二进制的形式存储日志信息，因此金仓数据库提供了工具sys_waldump帮助获取WAL日志文件中记录的日志信息，例如：

[kingbase@kingbase Server]$ pwd
/home/kingbase/kdb/Server
[kingbase@kingbase Server]$ bin/sys_waldump \
  /home/kingbase/kdb/kes_oracle_instance/sys_wal/000000010000000000000007

# 输出的信息如下：
rmgr: Standby     len (rec/tot):     42/    42, tx:          0, lsn: 0/07000028, prev 0/0602D240, desc: RUNNING_XACTS nextXid 1117 latestCompletedXid 5573947 oldestRunningXid 1117
rmgr: Standby     len (rec/tot):     42/    42, tx:          0, lsn: 0/07000058, prev 0/07000028, desc: RUNNING_XACTS nextXid 1117 latestCompletedXid 5576273 oldestRunningXid 1117
rmgr: XLOG        len (rec/tot):    114/   114, tx:          0, lsn: 0/07000088, prev 0/07000058, desc: CHECKPOINT_ONLINE redo 0/7000058; tli 1; prev tli 1;full_page_writes true; xid 0:1117;oid 24576; multi 1; offset 0; oldest xid 1064 in DB 1;oldest multi 1 in DB 1;oldest/newest commit timestamp xid: 0/0;oldest running xid 1117; online
rmgr: Standby     len (rec/tot):     42/    42, tx:          0, lsn: 0/07000100, prev 0/07000088, desc: RUNNING_XACTS nextXid 1117 latestCompletedXid 5573947 oldestRunningXid 1117
rmgr: XLOG        len (rec/tot):     24/    24, tx:          0, lsn: 0/07000130, prev 0/07000100, desc: SWITCH 

2.3 事务日志（sys_xact）

sys_xact是事务提交日志，记录了事务的元数据。默认开启。内容一般不能直接读。默认存储在目录$KINGBASE_DATA/sys_xact/。

2.4 服务器日志

如果用sys_ctl启动的时候没有指定-l参数来指定服务器日志，错误可能会输出到cmd前台。下图展示了在启动数据库服务器时，使用"-l"参数生成的服务器日志文件，它记录了数据库的重要信息。

# 服务器日志文件的内容如下：
2025-09-11 12:04:10.504 CST [13066] LOG:  sepapower扩展初始化完成
2025-09-11 12:04:10.521 CST [13066] LOG:  正在启动 KingbaseES V009R001C010
2025-09-11 12:04:10.521 CST [13066] LOG:  正在监听IPv4地址"0.0.0.0"，端口 54321
2025-09-11 12:04:10.521 CST [13066] LOG:  正在监听IPv6地址"::"，端口 54321
2025-09-11 12:04:10.522 CST [13066] LOG:  在Unix套接字 "/tmp/.s.KINGBASE.54321"上侦听
2025-09-11 12:04:10.773 CST [13066] LOG:  日志输出重定向到日志收集进程
2025-09-11 12:04:10.773 CST [13066] HINT:  后续的日志输出将出现在目录 "/home/kingbase/kdb/kes_oracle_instance/sys_log"中.

三、 控制文件

控制文件记录了数据库运行时的一些信息，比如数据库oid、是否是打开状态、WAL的位置、检查点的信息等等。KingBaseES的控制文件是很重要的数据库文件。控制文件默认保存在文件$KINGBASE_DATA/global/sys_control，可以使用命令bin/sys_controldata查看控制文件的内容，具体的操作步骤如下：

（1）进入KingBaseES的Server目录。

cd /home/kingbase/kdb/Server/

（2）执行命令查看控制文件的内容。

[kingbase@kingbase Server]$ bin/sys_controldata ~/kdb/kes_oracle_instance/

# 输出的信息如下：
sys_control版本:                       1201
Catalog版本:                          202502271
数据库系统标识符:                     7548668357165694582
数据库簇状态:                         在运行中
sys_control最后修改:                  2025年09月11日 星期四 12时04分10秒
最新检查点位置:                       0/8000130
最新检查点的REDO位置:                 0/8000130
最新检查点的重做日志文件:             000000010000000000000008
最近检查点的WalTimeLineID:            1
最新检查点的PrevTimeLineID:           1
最新检查点的full_page_writes:         开启
最新检查点的NextXID:                  0:1117
最新检查点的NextOID:                  16400
最新检查点的NextMultiXactId:          1
最新检查点的NextMultiOffsetD:         0
最新检查点的oldestXID:                1064
最新检查点的oldestXID所在的数据库：   1
最新检查点的oldestActiveXID:          0
最新检查点的oldestMultiXid:           1
最新检查点的oldestMulti所在的数据库： 1
最新检查点的oldestCommitTsXid:        0
最新检查点的newestCommitTsXid:        0
最新检查点的时间:                     2025年09月11日 星期四 12时04分05秒
不带日志的关系:                       0/3E8使用虚假的LSN计数器
最小恢复结束位置:                     0/0
最小恢复结束位置时间表:               0
开始进行备份的点位置:                 0/0
备份的最终位置:                       0/0
需要终止备份的记录:                   否
wal_level设置：                       replica
wal_log_hints设置：                   关闭
max_connections设置：                 100
max_worker_processes设置：            30
max_wal_senders设置:                  10
max_prepared_xacts设置：              0
max_locks_per_xact设置:               64
track_commit_timestamp设置:           关闭
最大数据校准:                         8
数据库块大小:                         8192
大关系的每段块数:                     131072
WAL的块大小:                          8192
每一个WAL段字节数:                    16777216
标识符的最大长度:                     64
在索引中可允许使用最大的列数:         32
TOAST区块的最大长度:                  1988
大对象区块的大小:                     2048
日期/时间存储类型:                    64位整数
正在传递Float4类型的参数:             由值
正在传递Float8类型的参数:             由值
数据页校验和版本:                     0
数据页校验和算法设备:                 0
当前身份验证:                         cc0df2ed4d3a338f6ae2838c46cc123e2634be5
数据库模式：                          1
身份验证方法模式：                    0

四、 参数文件

金仓数据库的参数文件主要包括四个，它们分别是kingbase.conf、sys_hba.conf、sys_ident.conf和kingbase.auto.conf。下面对这四个参数文件的作用分别进行了介绍。

• kingbase.conf

KingBaseES的主要参数文件，文件中有很详细的说明和注释。它的作用和Oracle的pfile、MySQL的my.cnf类似，该文件默认保存在$KINGBASE_DATA目录下。KingBaseES支持使用alter system命令来修改参数值，修改后的参数值会存在kingbase.auto.conf文件中，使用reload命令或者 restart命令来使之生效。

• sys_hba.conf

这个是黑白名单的设置文件。

• sys_ident.conf

该文件是用户映射配置文件，用来配置哪些操作系统用户可以映射为数据库用户。结合sys_hba.conf中的method选项可以用特定的操作系统用户和指定的数据库用户登录数据库。

• kingbase.auto.conf

该文件保存最新的参数值配置。当数据库服务重启时，在该参数文件中的参数值将优先被加载。当执行alter system命令修改系统参数时，新的参数值会被自动写入 kingbase.auto.conf文件中，而不是 kingbase.conf文件。通过这种方法，即使几个月或几年之后，也能看到参数修改变化，也能够保证kingbase.conf文件的安全。