SQLite -- 低成本持久化能力

SQLite 是软件开发中值得深入掌握的数据库。它不仅负责业务数据持久化,还涉及 B-Tree、分页存储、缓存、事务、WAL、锁、并发控制、崩溃恢复和数据一致性 等系统级知识。

一、定位:嵌入式数据库

1.1 SQLite

SQLite 是一个嵌入式关系型数据库管理系统(Embedded RDBMS)。 它无需独立运行的数据库服务器,而是以程序库的形式直接运行在应用进程内部。

传统客户端-服务器数据库架构:
#mermaid-svg-IiZbbcaw9B8ZFAqC{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-IiZbbcaw9B8ZFAqC .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-IiZbbcaw9B8ZFAqC .error-icon{fill:#552222;}#mermaid-svg-IiZbbcaw9B8ZFAqC .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-IiZbbcaw9B8ZFAqC .marker{fill:#333333;stroke:#333333;}#mermaid-svg-IiZbbcaw9B8ZFAqC .marker.cross{stroke:#333333;}#mermaid-svg-IiZbbcaw9B8ZFAqC svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-IiZbbcaw9B8ZFAqC p{margin:0;}#mermaid-svg-IiZbbcaw9B8ZFAqC .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-IiZbbcaw9B8ZFAqC .cluster-label text{fill:#333;}#mermaid-svg-IiZbbcaw9B8ZFAqC .cluster-label span{color:#333;}#mermaid-svg-IiZbbcaw9B8ZFAqC .cluster-label span p{background-color:transparent;}#mermaid-svg-IiZbbcaw9B8ZFAqC .label text,#mermaid-svg-IiZbbcaw9B8ZFAqC span{fill:#333;color:#333;}#mermaid-svg-IiZbbcaw9B8ZFAqC .node rect,#mermaid-svg-IiZbbcaw9B8ZFAqC .node circle,#mermaid-svg-IiZbbcaw9B8ZFAqC .node ellipse,#mermaid-svg-IiZbbcaw9B8ZFAqC .node polygon,#mermaid-svg-IiZbbcaw9B8ZFAqC .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-IiZbbcaw9B8ZFAqC .rough-node .label text,#mermaid-svg-IiZbbcaw9B8ZFAqC .node .label text,#mermaid-svg-IiZbbcaw9B8ZFAqC .image-shape .label,#mermaid-svg-IiZbbcaw9B8ZFAqC .icon-shape .label{text-anchor:middle;}#mermaid-svg-IiZbbcaw9B8ZFAqC .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-IiZbbcaw9B8ZFAqC .rough-node .label,#mermaid-svg-IiZbbcaw9B8ZFAqC .node .label,#mermaid-svg-IiZbbcaw9B8ZFAqC .image-shape .label,#mermaid-svg-IiZbbcaw9B8ZFAqC .icon-shape .label{text-align:center;}#mermaid-svg-IiZbbcaw9B8ZFAqC .node.clickable{cursor:pointer;}#mermaid-svg-IiZbbcaw9B8ZFAqC .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-IiZbbcaw9B8ZFAqC .arrowheadPath{fill:#333333;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-IiZbbcaw9B8ZFAqC .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-IiZbbcaw9B8ZFAqC .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-IiZbbcaw9B8ZFAqC .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-IiZbbcaw9B8ZFAqC .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-IiZbbcaw9B8ZFAqC .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-IiZbbcaw9B8ZFAqC .cluster text{fill:#333;}#mermaid-svg-IiZbbcaw9B8ZFAqC .cluster span{color:#333;}#mermaid-svg-IiZbbcaw9B8ZFAqC div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-IiZbbcaw9B8ZFAqC .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-IiZbbcaw9B8ZFAqC rect.text{fill:none;stroke-width:0;}#mermaid-svg-IiZbbcaw9B8ZFAqC .icon-shape,#mermaid-svg-IiZbbcaw9B8ZFAqC .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-IiZbbcaw9B8ZFAqC .icon-shape p,#mermaid-svg-IiZbbcaw9B8ZFAqC .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-IiZbbcaw9B8ZFAqC .icon-shape .label rect,#mermaid-svg-IiZbbcaw9B8ZFAqC .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-IiZbbcaw9B8ZFAqC .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-IiZbbcaw9B8ZFAqC .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-IiZbbcaw9B8ZFAqC :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 网络协议
文件 I/O
C++ / Python 应用
MySQL / PostgreSQL 服务
数据库文件

SQLite 架构:
#mermaid-svg-1HmuVa44veu4cMEy{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-1HmuVa44veu4cMEy .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-1HmuVa44veu4cMEy .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-1HmuVa44veu4cMEy .error-icon{fill:#552222;}#mermaid-svg-1HmuVa44veu4cMEy .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-1HmuVa44veu4cMEy .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-1HmuVa44veu4cMEy .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-1HmuVa44veu4cMEy .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-1HmuVa44veu4cMEy .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-1HmuVa44veu4cMEy .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-1HmuVa44veu4cMEy .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-1HmuVa44veu4cMEy .marker{fill:#333333;stroke:#333333;}#mermaid-svg-1HmuVa44veu4cMEy .marker.cross{stroke:#333333;}#mermaid-svg-1HmuVa44veu4cMEy svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-1HmuVa44veu4cMEy p{margin:0;}#mermaid-svg-1HmuVa44veu4cMEy .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-1HmuVa44veu4cMEy .cluster-label text{fill:#333;}#mermaid-svg-1HmuVa44veu4cMEy .cluster-label span{color:#333;}#mermaid-svg-1HmuVa44veu4cMEy .cluster-label span p{background-color:transparent;}#mermaid-svg-1HmuVa44veu4cMEy .label text,#mermaid-svg-1HmuVa44veu4cMEy span{fill:#333;color:#333;}#mermaid-svg-1HmuVa44veu4cMEy .node rect,#mermaid-svg-1HmuVa44veu4cMEy .node circle,#mermaid-svg-1HmuVa44veu4cMEy .node ellipse,#mermaid-svg-1HmuVa44veu4cMEy .node polygon,#mermaid-svg-1HmuVa44veu4cMEy .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-1HmuVa44veu4cMEy .rough-node .label text,#mermaid-svg-1HmuVa44veu4cMEy .node .label text,#mermaid-svg-1HmuVa44veu4cMEy .image-shape .label,#mermaid-svg-1HmuVa44veu4cMEy .icon-shape .label{text-anchor:middle;}#mermaid-svg-1HmuVa44veu4cMEy .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-1HmuVa44veu4cMEy .rough-node .label,#mermaid-svg-1HmuVa44veu4cMEy .node .label,#mermaid-svg-1HmuVa44veu4cMEy .image-shape .label,#mermaid-svg-1HmuVa44veu4cMEy .icon-shape .label{text-align:center;}#mermaid-svg-1HmuVa44veu4cMEy .node.clickable{cursor:pointer;}#mermaid-svg-1HmuVa44veu4cMEy .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-1HmuVa44veu4cMEy .arrowheadPath{fill:#333333;}#mermaid-svg-1HmuVa44veu4cMEy .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-1HmuVa44veu4cMEy .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-1HmuVa44veu4cMEy .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1HmuVa44veu4cMEy .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-1HmuVa44veu4cMEy .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1HmuVa44veu4cMEy .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-1HmuVa44veu4cMEy .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-1HmuVa44veu4cMEy .cluster text{fill:#333;}#mermaid-svg-1HmuVa44veu4cMEy .cluster span{color:#333;}#mermaid-svg-1HmuVa44veu4cMEy div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-1HmuVa44veu4cMEy .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-1HmuVa44veu4cMEy rect.text{fill:none;stroke-width:0;}#mermaid-svg-1HmuVa44veu4cMEy .icon-shape,#mermaid-svg-1HmuVa44veu4cMEy .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1HmuVa44veu4cMEy .icon-shape p,#mermaid-svg-1HmuVa44veu4cMEy .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-1HmuVa44veu4cMEy .icon-shape .label rect,#mermaid-svg-1HmuVa44veu4cMEy .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1HmuVa44veu4cMEy .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-1HmuVa44veu4cMEy .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-1HmuVa44veu4cMEy :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 同一应用进程
本地文件 I/O
C++ / Python 业务程序
SQLite 数据库引擎
device.db

最简 Python 上手示例:

python 复制代码
import sqlite3
conn = sqlite3.connect("device.db")
conn.execute("""
    CREATE TABLE IF NOT EXISTS sensor_data (
        id INTEGER PRIMARY KEY,
        temperature REAL NOT NULL
    )
""")
conn.execute(
    "INSERT INTO sensor_data(temperature) VALUES (?)",
    (36.5,)
)
conn.commit()
conn.close()

这段代码会在本地创建或打开 device.db 文件,无需部署数据库服务、无需配置监听端口,即可获得完整的 SQL、事务与一致性能力。

1.2 与 MySQL / PostgreSQL 的差异

对比维度 SQLite MySQL / PostgreSQL
架构模式 嵌入应用进程内运行 独立数据库服务进程
存储载体 本地单数据库文件 服务端管理的存储集群
访问接口 本地 API 调用 网络协议交互
部署运维 零成本,无独立进程 需要专业部署与运维
事务支持 原生支持 ACID 支持 ACID(依赖具体引擎与配置)
写入并发 同一数据库同一时间仅一个写事务 原生支持高并发多写入场景
典型场景 本地工具、设备端、离线应用 集中式多用户后端服务

SQLite 是应用自建文件存储的替代方案,而非要替代数据库服务器。

1.3 适用场景

  • 工业设备本地持久化:设备参数、检测记录、运行状态、报警历史存储
  • 断网缓存与上传任务管理:待上传记录、重试次数、失败原因、服务端确认状态管理
  • 桌面应用与开发工具:软件配置、工程元数据、日志检索、任务状态持久化
  • 移动端、机器人与边缘设备:无需常驻数据库服务,降低部署与维护复杂度

SQLite 的最大价值,是以极低的系统复杂度提供结构化、本地、事务型持久化能力。


二、内核原理:内部架构与数据存储机制

2.1 SQLite 内核模块分层

SQLite 是一个完整的数据库引擎,内部采用分层架构设计:
#mermaid-svg-D04kCzTqY4oZn8rB{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-D04kCzTqY4oZn8rB .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-D04kCzTqY4oZn8rB .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-D04kCzTqY4oZn8rB .error-icon{fill:#552222;}#mermaid-svg-D04kCzTqY4oZn8rB .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-D04kCzTqY4oZn8rB .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-D04kCzTqY4oZn8rB .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-D04kCzTqY4oZn8rB .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-D04kCzTqY4oZn8rB .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-D04kCzTqY4oZn8rB .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-D04kCzTqY4oZn8rB .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-D04kCzTqY4oZn8rB .marker{fill:#333333;stroke:#333333;}#mermaid-svg-D04kCzTqY4oZn8rB .marker.cross{stroke:#333333;}#mermaid-svg-D04kCzTqY4oZn8rB svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-D04kCzTqY4oZn8rB p{margin:0;}#mermaid-svg-D04kCzTqY4oZn8rB .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-D04kCzTqY4oZn8rB .cluster-label text{fill:#333;}#mermaid-svg-D04kCzTqY4oZn8rB .cluster-label span{color:#333;}#mermaid-svg-D04kCzTqY4oZn8rB .cluster-label span p{background-color:transparent;}#mermaid-svg-D04kCzTqY4oZn8rB .label text,#mermaid-svg-D04kCzTqY4oZn8rB span{fill:#333;color:#333;}#mermaid-svg-D04kCzTqY4oZn8rB .node rect,#mermaid-svg-D04kCzTqY4oZn8rB .node circle,#mermaid-svg-D04kCzTqY4oZn8rB .node ellipse,#mermaid-svg-D04kCzTqY4oZn8rB .node polygon,#mermaid-svg-D04kCzTqY4oZn8rB .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-D04kCzTqY4oZn8rB .rough-node .label text,#mermaid-svg-D04kCzTqY4oZn8rB .node .label text,#mermaid-svg-D04kCzTqY4oZn8rB .image-shape .label,#mermaid-svg-D04kCzTqY4oZn8rB .icon-shape .label{text-anchor:middle;}#mermaid-svg-D04kCzTqY4oZn8rB .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-D04kCzTqY4oZn8rB .rough-node .label,#mermaid-svg-D04kCzTqY4oZn8rB .node .label,#mermaid-svg-D04kCzTqY4oZn8rB .image-shape .label,#mermaid-svg-D04kCzTqY4oZn8rB .icon-shape .label{text-align:center;}#mermaid-svg-D04kCzTqY4oZn8rB .node.clickable{cursor:pointer;}#mermaid-svg-D04kCzTqY4oZn8rB .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-D04kCzTqY4oZn8rB .arrowheadPath{fill:#333333;}#mermaid-svg-D04kCzTqY4oZn8rB .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-D04kCzTqY4oZn8rB .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-D04kCzTqY4oZn8rB .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-D04kCzTqY4oZn8rB .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-D04kCzTqY4oZn8rB .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-D04kCzTqY4oZn8rB .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-D04kCzTqY4oZn8rB .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-D04kCzTqY4oZn8rB .cluster text{fill:#333;}#mermaid-svg-D04kCzTqY4oZn8rB .cluster span{color:#333;}#mermaid-svg-D04kCzTqY4oZn8rB div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-D04kCzTqY4oZn8rB .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-D04kCzTqY4oZn8rB rect.text{fill:none;stroke-width:0;}#mermaid-svg-D04kCzTqY4oZn8rB .icon-shape,#mermaid-svg-D04kCzTqY4oZn8rB .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-D04kCzTqY4oZn8rB .icon-shape p,#mermaid-svg-D04kCzTqY4oZn8rB .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-D04kCzTqY4oZn8rB .icon-shape .label rect,#mermaid-svg-D04kCzTqY4oZn8rB .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-D04kCzTqY4oZn8rB .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-D04kCzTqY4oZn8rB .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-D04kCzTqY4oZn8rB :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-D04kCzTqY4oZn8rB .app>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-D04kCzTqY4oZn8rB .app span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-D04kCzTqY4oZn8rB .app tspan{fill:#0D47A1!important;}#mermaid-svg-D04kCzTqY4oZn8rB .parser>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-D04kCzTqY4oZn8rB .parser span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-D04kCzTqY4oZn8rB .parser tspan{fill:#1B5E20!important;}#mermaid-svg-D04kCzTqY4oZn8rB .vdbe>*{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-D04kCzTqY4oZn8rB .vdbe span{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-D04kCzTqY4oZn8rB .vdbe tspan{fill:#E65100!important;}#mermaid-svg-D04kCzTqY4oZn8rB .btree>*{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-D04kCzTqY4oZn8rB .btree span{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-D04kCzTqY4oZn8rB .btree tspan{fill:#4A148C!important;}#mermaid-svg-D04kCzTqY4oZn8rB .pager>*{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-D04kCzTqY4oZn8rB .pager span{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-D04kCzTqY4oZn8rB .pager tspan{fill:#880E4F!important;}#mermaid-svg-D04kCzTqY4oZn8rB .vfs>*{fill:#E0F7FA!important;stroke:#00838F!important;stroke-width:1.5px!important;color:#006064!important;}#mermaid-svg-D04kCzTqY4oZn8rB .vfs span{fill:#E0F7FA!important;stroke:#00838F!important;stroke-width:1.5px!important;color:#006064!important;}#mermaid-svg-D04kCzTqY4oZn8rB .vfs tspan{fill:#006064!important;}#mermaid-svg-D04kCzTqY4oZn8rB .storage>*{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-D04kCzTqY4oZn8rB .storage span{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-D04kCzTqY4oZn8rB .storage tspan{fill:#263238!important;} 应用层

C++ / Python / C#
SQL Parser + Code Generator

语法解析 · 查询规划 · 字节码生成
VDBE

虚拟数据库执行引擎
B-Tree

表与索引的数据组织结构
Pager / Page Cache / WAL

页面管理 · 缓存 · 事务与日志
VFS

虚拟文件系统接口
SSD / HDD

数据库及日志文件

各模块职责:

  • SQL Parser / Query Planner:解析 SQL 语句,选择最优索引与访问路径
  • VDBE:执行编译生成的数据库专用字节码指令
  • B-Tree:组织数据记录与索引,实现高效检索
  • Pager:管理数据库页面、页面缓存,协调事务持久化行为
  • VFS:对接 Linux、Windows 等操作系统的文件 I/O 与锁接口

对于 C++ 开发者,可将 VDBE 理解为数据库专用虚拟机,将 Pager 理解为数据库的分页与持久化协调层。

2.2 数据的磁盘存储逻辑

假设创建一张传感器数据表并写入数据:

sql 复制代码
CREATE TABLE sensor_data (
    id INTEGER PRIMARY KEY,
    temperature REAL NOT NULL,
    timestamp_ms INTEGER NOT NULL
);
INSERT INTO sensor_data(temperature, timestamp_ms)
VALUES (36.5, 1792700000000);

SQLite 不会逐条追加 SQL 原文到数据库文件,而是将数据组织到 Page(页面) 单元中,由 B-Tree 负责访问,由 Pager 管理页面的修改与持久化。

数据库文件逻辑结构:

上图为逻辑示意,页面用途并非按固定顺序分配。SQLite 默认页面大小为 4096 字节(4 KiB),实际大小取决于建库参数与编译配置。

分页设计的价值:让引擎可以按需读取、缓存和更新部分页面,无需每次修改都重写整个数据库文件;同时也是事务日志与崩溃恢复机制的核心基础。

2.3 B-Tree 与查找效率

B-Tree 是一种多路平衡搜索树。主键查找时,只需沿树节点逐层向下检索,无需线性扫描全表数据。

理想条件下,索引查找的时间复杂度可近似为 O(log N) ;全表顺序扫描则为 O(N)。实际查询性能还包含数据读取、过滤、排序、结果返回等额外开销。

SQLite 中普通 rowid 表与索引采用不同形式的 B-Tree,多种 B-Tree 结构可共存于同一个数据库文件中。

SQLite 上层执行 SQL 指令,中间通过 B-Tree 组织数据,底层依靠 Pager、日志与 VFS 实现存储与崩溃恢复。


三、设计基础:SQL 语法、数据类型与数据库设计

3.1 概念:表、行、列、索引

  • Table(表):同一类型数据记录的集合
  • Row(行):单条具体业务记录
  • Column(列):记录的属性字段
  • Index(索引):加速检索、排序操作的数据结构

工业检测记录表设计示例:

sql 复制代码
CREATE TABLE inspection_records (
    id INTEGER PRIMARY KEY,
    device_id TEXT NOT NULL,
    result TEXT NOT NULL,
    confidence REAL,
    created_at_ms INTEGER NOT NULL
) STRICT;
字段 业务含义
id 唯一记录编号
device_id 设备唯一标识
result 检测结果
confidence 模型检测置信度
created_at_ms Unix 毫秒级时间戳

注意:在普通 rowid 表中,INTEGER PRIMARY KEY 具有特殊语义------它是内部 rowid 的别名。

3.2 动态类型系统与严格表

SQLite 默认采用 Dynamic Typing(动态类型) :存储类型属于值本身,列声明仅表示 Type Affinity(类型亲和性),不会严格限制插入值的类型。

SQLite 原生存储类型:

存储类型 内容说明
NULL 空值
INTEGER 有符号整数,最大支持 64 位
REAL 浮点数
TEXT 字符串文本
BLOB 原始二进制数据

动态类型示例:

sql 复制代码
CREATE TABLE example (value INTEGER);
INSERT INTO example VALUES ('123');
INSERT INTO example VALUES ('hello');
SELECT value, typeof(value) FROM example;

默认情况下,'123' 可自动转换为整数存储;'hello' 无法转换时则作为文本存储。

自 SQLite 3.37.0 起,官方支持 STRICT 严格表 ,为新项目提供强类型约束。STRICT 表仅允许 INT、INTEGER、REAL、TEXT、BLOB、ANY 六种类型声明。

3.3 特殊数据类型存储方案

时间类型

SQLite 没有独立的日期存储类型,工业场景常用三种方案:整数时间戳、ISO 8601 字符串、儒略日数值。设备端数据推荐使用 timestamp_ms INTEGER NOT NULL,并区分采集、入库、上传三个时间节点。

JSON 数据

可通过 SQLite 内置 JSON 函数处理:

sql 复制代码
CREATE TABLE device_events (
    id INTEGER PRIMARY KEY,
    payload TEXT NOT NULL CHECK(json_valid(payload))
);
INSERT INTO device_events(payload)
VALUES ('{"temperature":36.5,"alarm":false}');
SELECT json_extract(payload, '$.temperature')
FROM device_events;

SQLite 也支持 JSONB 二进制格式,但其实现与 PostgreSQL 的 JSONB 存在差异。

图像/点云/视频等大文件

技术上可存入 BLOB 字段,但工程中更推荐"原始文件独立存储 + SQLite 记录元数据"的方案:

text 复制代码
/inspection/
    2026-10-22/
        frame_0001.jpg
        frame_0002.jpg
        pointcloud_0001.pcd
/data/
    inspection.db

这是工程层面的取舍,而非 SQLite 不支持 BLOB 存储。

3.4 基础 SQL 语法

sql 复制代码
-- 插入记录
INSERT INTO inspection_records
(device_id, result, confidence, created_at_ms)
VALUES ('CAM01', 'PASS', 0.98, 1792700000000);

-- 条件查询
SELECT * FROM inspection_records WHERE device_id = 'CAM01';

-- 更新记录
UPDATE inspection_records SET result = 'FAIL' WHERE id = 1;

-- 删除记录
DELETE FROM inspection_records WHERE id = 1;

-- 聚合统计
SELECT device_id, COUNT(*) AS total
FROM inspection_records
GROUP BY device_id;

注意:DELETE 仅删除逻辑记录,不代表磁盘介质中的对应字节会被立即物理擦除。

3.5 用约束落实业务不变量

通过数据库约束从底层保证数据合法性,是数据库设计的原则:

sql 复制代码
CREATE TABLE devices (
    id TEXT PRIMARY KEY,
    name TEXT NOT NULL
) STRICT;

CREATE TABLE inspections (
    id INTEGER PRIMARY KEY,
    device_id TEXT NOT NULL,
    result TEXT NOT NULL CHECK(result IN ('PASS', 'FAIL')),
    FOREIGN KEY(device_id) REFERENCES devices(id)
) STRICT;

重要提醒:外键约束必须在每个数据库连接上显式启用,否则不会生效:

sql 复制代码
PRAGMA foreign_keys = ON;

仅声明 FOREIGN KEY 无法保证约束检查自动启用。


四、可靠基石:事务、ACID 特性与崩溃恢复

4.1 事务的本质

事务是一组逻辑上必须共同提交、或共同撤销 的数据库操作。

如"保存检测记录 + 创建上传任务":

sql 复制代码
BEGIN TRANSACTION;
INSERT INTO inspection_records
(device_id, result, confidence, created_at_ms)
VALUES ('CAM01', 'PASS', 0.98, 1792700000000);
INSERT INTO upload_tasks(record_id, status)
VALUES (last_insert_rowid(), 'PENDING');
COMMIT;

示例假设 upload_tasks 表已创建,两条语句需在同一连接中执行。业务程序必须检查每一步执行结果;如需撤销事务,需显式执行 ROLLBACK,不要默认所有错误都会自动触发全事务回滚。

4.2 ACID 四大特性

特性 名称 含义
A Atomicity 原子性 事务整体生效,或整体撤销,不存在中间状态
C Consistency 一致性 事务执行前后,数据库状态始终满足约束与业务不变量
I Isolation 隔离性 并发事务之间有明确的可见性隔离语义
D Durability 持久性 事务按配置完成提交后,具备对应级别的故障持久化能力

注意:一致性需要数据库约束与业务逻辑共同保障;持久性依赖日志模式、synchronous 配置、文件系统与存储硬件,不能无条件理解为"COMMIT 后数据绝对不丢失"。

4.3 Rollback Journal 回滚日志机制

传统 Rollback Journal 模式的思想:修改主数据库页面之前,先保存旧版本数据到日志,确保事务失败时可完整恢复。
#mermaid-svg-HbEoIQxPrkGtgU56{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-HbEoIQxPrkGtgU56 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-HbEoIQxPrkGtgU56 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-HbEoIQxPrkGtgU56 .error-icon{fill:#552222;}#mermaid-svg-HbEoIQxPrkGtgU56 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-HbEoIQxPrkGtgU56 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-HbEoIQxPrkGtgU56 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-HbEoIQxPrkGtgU56 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-HbEoIQxPrkGtgU56 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-HbEoIQxPrkGtgU56 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-HbEoIQxPrkGtgU56 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-HbEoIQxPrkGtgU56 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-HbEoIQxPrkGtgU56 .marker.cross{stroke:#333333;}#mermaid-svg-HbEoIQxPrkGtgU56 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-HbEoIQxPrkGtgU56 p{margin:0;}#mermaid-svg-HbEoIQxPrkGtgU56 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-HbEoIQxPrkGtgU56 .cluster-label text{fill:#333;}#mermaid-svg-HbEoIQxPrkGtgU56 .cluster-label span{color:#333;}#mermaid-svg-HbEoIQxPrkGtgU56 .cluster-label span p{background-color:transparent;}#mermaid-svg-HbEoIQxPrkGtgU56 .label text,#mermaid-svg-HbEoIQxPrkGtgU56 span{fill:#333;color:#333;}#mermaid-svg-HbEoIQxPrkGtgU56 .node rect,#mermaid-svg-HbEoIQxPrkGtgU56 .node circle,#mermaid-svg-HbEoIQxPrkGtgU56 .node ellipse,#mermaid-svg-HbEoIQxPrkGtgU56 .node polygon,#mermaid-svg-HbEoIQxPrkGtgU56 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-HbEoIQxPrkGtgU56 .rough-node .label text,#mermaid-svg-HbEoIQxPrkGtgU56 .node .label text,#mermaid-svg-HbEoIQxPrkGtgU56 .image-shape .label,#mermaid-svg-HbEoIQxPrkGtgU56 .icon-shape .label{text-anchor:middle;}#mermaid-svg-HbEoIQxPrkGtgU56 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-HbEoIQxPrkGtgU56 .rough-node .label,#mermaid-svg-HbEoIQxPrkGtgU56 .node .label,#mermaid-svg-HbEoIQxPrkGtgU56 .image-shape .label,#mermaid-svg-HbEoIQxPrkGtgU56 .icon-shape .label{text-align:center;}#mermaid-svg-HbEoIQxPrkGtgU56 .node.clickable{cursor:pointer;}#mermaid-svg-HbEoIQxPrkGtgU56 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-HbEoIQxPrkGtgU56 .arrowheadPath{fill:#333333;}#mermaid-svg-HbEoIQxPrkGtgU56 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-HbEoIQxPrkGtgU56 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-HbEoIQxPrkGtgU56 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-HbEoIQxPrkGtgU56 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-HbEoIQxPrkGtgU56 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-HbEoIQxPrkGtgU56 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-HbEoIQxPrkGtgU56 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-HbEoIQxPrkGtgU56 .cluster text{fill:#333;}#mermaid-svg-HbEoIQxPrkGtgU56 .cluster span{color:#333;}#mermaid-svg-HbEoIQxPrkGtgU56 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-HbEoIQxPrkGtgU56 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-HbEoIQxPrkGtgU56 rect.text{fill:none;stroke-width:0;}#mermaid-svg-HbEoIQxPrkGtgU56 .icon-shape,#mermaid-svg-HbEoIQxPrkGtgU56 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-HbEoIQxPrkGtgU56 .icon-shape p,#mermaid-svg-HbEoIQxPrkGtgU56 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-HbEoIQxPrkGtgU56 .icon-shape .label rect,#mermaid-svg-HbEoIQxPrkGtgU56 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-HbEoIQxPrkGtgU56 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-HbEoIQxPrkGtgU56 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-HbEoIQxPrkGtgU56 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-HbEoIQxPrkGtgU56 .start>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .start span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .start tspan{fill:#0D47A1!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .normal>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .normal span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .normal tspan{fill:#1B5E20!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .commit>*{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .commit span{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .commit tspan{fill:#E65100!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .recovery>*{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .recovery span{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-HbEoIQxPrkGtgU56 .recovery tspan{fill:#880E4F!important;} 故障恢复流程
正常事务提交流程
发生故障
BEGIN

开启事务
定位需要修改的页面
将旧页数据写入

Rollback Journal 保护
按协议同步

Journal 文件
修改数据库文件中的

页面数据
按协议完成同步、

日志处理与事务提交
恢复时识别

Hot Journal 文件
利用旧页数据恢复

数据库一致状态

上图省略了文件锁、缓存、日志完成标记及各同步步骤的实现细节。

4.4 三种事务开启模式

模式 行为
BEGIN DEFERRED 默认模式,首次实际访问数据库时才进入读/写事务
BEGIN IMMEDIATE 立即尝试获取写事务权限
BEGIN EXCLUSIVE WAL 模式下与 IMMEDIATE 行为一致;其他模式下会额外阻止读访问

使用示例:

sql 复制代码
BEGIN IMMEDIATE;
UPDATE upload_tasks SET status='INFLIGHT' WHERE id=1001;
COMMIT;

对于多 Worker 抢任务的场景,BEGIN IMMEDIATE 可确保"选中任务 → 更新状态"的逻辑在获取写事务后执行。但它不会改变 SQLite 单写事务的底层模型,无法让多个写事务并行执行。

4.5 事务与互斥锁的区别

cpp 复制代码
std::mutex mtx;
std::lock_guard<std::mutex> lock(mtx);

std::mutex 仅控制进程内线程对共享内存对象的访问;SQLite 事务同时管理数据库状态的提交、回滚、隔离,并协调跨连接、跨进程的并发访问。二者不属于同一层次的机制。

事务负责原子提交,日志负责崩溃恢复,锁负责并发协调,三者协作构成了 SQLite 的可靠数据库体系。


五、并发机制:WAL 模式、读写并发与锁体系

5.1 WAL 模式概述

WAL(Write-Ahead Logging,预写式日志)的策略:事务修改先追加写入 WAL 日志,后续通过 Checkpoint 机制合并到主数据库文件。

开启 WAL 模式:

sql 复制代码
PRAGMA journal_mode = WAL;

WAL 模式下的三类文件:

复制代码
device.db       # 主数据库文件
device.db-wal   # 新修改页面与事务提交信息
device.db-shm   # WAL 索引、连接间共享内存协调

-wal 和 -shm 文件不会始终存在,其生成与清理取决于连接状态、访问模式与检查点行为。

5.2 WAL 写入执行流程

#mermaid-svg-eM6fqSUESph1GLdu{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-eM6fqSUESph1GLdu .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-eM6fqSUESph1GLdu .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-eM6fqSUESph1GLdu .error-icon{fill:#552222;}#mermaid-svg-eM6fqSUESph1GLdu .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-eM6fqSUESph1GLdu .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-eM6fqSUESph1GLdu .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-eM6fqSUESph1GLdu .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-eM6fqSUESph1GLdu .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-eM6fqSUESph1GLdu .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-eM6fqSUESph1GLdu .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-eM6fqSUESph1GLdu .marker{fill:#333333;stroke:#333333;}#mermaid-svg-eM6fqSUESph1GLdu .marker.cross{stroke:#333333;}#mermaid-svg-eM6fqSUESph1GLdu svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-eM6fqSUESph1GLdu p{margin:0;}#mermaid-svg-eM6fqSUESph1GLdu .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-eM6fqSUESph1GLdu .cluster-label text{fill:#333;}#mermaid-svg-eM6fqSUESph1GLdu .cluster-label span{color:#333;}#mermaid-svg-eM6fqSUESph1GLdu .cluster-label span p{background-color:transparent;}#mermaid-svg-eM6fqSUESph1GLdu .label text,#mermaid-svg-eM6fqSUESph1GLdu span{fill:#333;color:#333;}#mermaid-svg-eM6fqSUESph1GLdu .node rect,#mermaid-svg-eM6fqSUESph1GLdu .node circle,#mermaid-svg-eM6fqSUESph1GLdu .node ellipse,#mermaid-svg-eM6fqSUESph1GLdu .node polygon,#mermaid-svg-eM6fqSUESph1GLdu .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-eM6fqSUESph1GLdu .rough-node .label text,#mermaid-svg-eM6fqSUESph1GLdu .node .label text,#mermaid-svg-eM6fqSUESph1GLdu .image-shape .label,#mermaid-svg-eM6fqSUESph1GLdu .icon-shape .label{text-anchor:middle;}#mermaid-svg-eM6fqSUESph1GLdu .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-eM6fqSUESph1GLdu .rough-node .label,#mermaid-svg-eM6fqSUESph1GLdu .node .label,#mermaid-svg-eM6fqSUESph1GLdu .image-shape .label,#mermaid-svg-eM6fqSUESph1GLdu .icon-shape .label{text-align:center;}#mermaid-svg-eM6fqSUESph1GLdu .node.clickable{cursor:pointer;}#mermaid-svg-eM6fqSUESph1GLdu .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-eM6fqSUESph1GLdu .arrowheadPath{fill:#333333;}#mermaid-svg-eM6fqSUESph1GLdu .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-eM6fqSUESph1GLdu .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-eM6fqSUESph1GLdu .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-eM6fqSUESph1GLdu .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-eM6fqSUESph1GLdu .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-eM6fqSUESph1GLdu .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-eM6fqSUESph1GLdu .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-eM6fqSUESph1GLdu .cluster text{fill:#333;}#mermaid-svg-eM6fqSUESph1GLdu .cluster span{color:#333;}#mermaid-svg-eM6fqSUESph1GLdu div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-eM6fqSUESph1GLdu .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-eM6fqSUESph1GLdu rect.text{fill:none;stroke-width:0;}#mermaid-svg-eM6fqSUESph1GLdu .icon-shape,#mermaid-svg-eM6fqSUESph1GLdu .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-eM6fqSUESph1GLdu .icon-shape p,#mermaid-svg-eM6fqSUESph1GLdu .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-eM6fqSUESph1GLdu .icon-shape .label rect,#mermaid-svg-eM6fqSUESph1GLdu .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-eM6fqSUESph1GLdu .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-eM6fqSUESph1GLdu .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-eM6fqSUESph1GLdu :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-eM6fqSUESph1GLdu .op>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-eM6fqSUESph1GLdu .op span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-eM6fqSUESph1GLdu .op tspan{fill:#0D47A1!important;}#mermaid-svg-eM6fqSUESph1GLdu .page>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-eM6fqSUESph1GLdu .page span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-eM6fqSUESph1GLdu .page tspan{fill:#1B5E20!important;}#mermaid-svg-eM6fqSUESph1GLdu .wal>*{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-eM6fqSUESph1GLdu .wal span{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-eM6fqSUESph1GLdu .wal tspan{fill:#E65100!important;}#mermaid-svg-eM6fqSUESph1GLdu .commit>*{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-eM6fqSUESph1GLdu .commit span{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-eM6fqSUESph1GLdu .commit tspan{fill:#4A148C!important;}#mermaid-svg-eM6fqSUESph1GLdu .sync>*{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-eM6fqSUESph1GLdu .sync span{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-eM6fqSUESph1GLdu .sync tspan{fill:#880E4F!important;}#mermaid-svg-eM6fqSUESph1GLdu .success>*{fill:#E0F7FA!important;stroke:#00838F!important;stroke-width:1.5px!important;color:#006064!important;}#mermaid-svg-eM6fqSUESph1GLdu .success span{fill:#E0F7FA!important;stroke:#00838F!important;stroke-width:1.5px!important;color:#006064!important;}#mermaid-svg-eM6fqSUESph1GLdu .success tspan{fill:#006064!important;}#mermaid-svg-eM6fqSUESph1GLdu .bg>*{fill:#ECEFF1!important;stroke:#546E7A!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-eM6fqSUESph1GLdu .bg span{fill:#ECEFF1!important;stroke:#546E7A!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-eM6fqSUESph1GLdu .bg tspan{fill:#263238!important;}#mermaid-svg-eM6fqSUESph1GLdu .main>*{fill:#F1F8E9!important;stroke:#558B2F!important;stroke-width:1.5px!important;color:#33691E!important;}#mermaid-svg-eM6fqSUESph1GLdu .main span{fill:#F1F8E9!important;stroke:#558B2F!important;stroke-width:1.5px!important;color:#33691E!important;}#mermaid-svg-eM6fqSUESph1GLdu .main tspan{fill:#33691E!important;} Checkpoint 合并
WAL 事务提交
执行 INSERT / UPDATE 操作
生成修改后的数据库页面
追加写入 -wal 日志文件
记录事务提交标记
根据 synchronous 配置执行磁盘同步
事务提交返回成功
后台异步执行 Checkpoint
将已提交页面合并写回

device.db 主文件

COMMIT 成功不等于数据已经写回 .db 主文件。已提交事务可能仍存储在 WAL 中,但在合规的日志与同步配置下,可通过 WAL 完整恢复。

5.3 WAL 实现读写并发的原理

WAL 模式下,读事务读取的是固定的一致性快照。SQLite 通过读事务的 end mark 确定其可见的已提交 WAL 边界,写者追加新 WAL 记录时,不会改变已开启读事务的可见数据。

因此 WAL 模式可实现多读并发、读写并发,其设计思想与 MVCC(多版本并发控制)相近,但具体实现与 PostgreSQL 的 MVCC 存在差异。

5.4 WAL 与多写并发

SQLite 同一数据库始终只允许一个写事务执行。 两个连接同时发起写入时,后发起的一方会进入等待;超过等待时限则返回 SQLITE_BUSY 错误。

工作负载 WAL 模式下的并发能力
多个读事务 通常可完全并发
读事务与写事务 通常可并发执行
多个写事务 必须串行化执行

WAL 是通过快照机制减少读写冲突的日志架构。

5.5 Checkpoint、长事务与文件膨胀

Checkpoint(检查点)的作用是将 WAL 中可合并的已提交页面写回主数据库文件。默认自动检查点阈值为 1000 页(4 KiB × 1000 ≈ 4 MiB,仅为数量级估算,WAL 包含帧头等额外开销)。

长读事务会阻碍 Checkpoint 推进,导致 WAL 文件持续膨胀。工程中应避免以下行为:

  • 长时间保持打开的读取游标与事务
  • 在事务内部等待网络请求返回
  • 在写事务中执行耗时推理或机械控制操作
  • 查询页面加载时长期持有同一个读事务

重要限制:WAL 模式不适合多台主机通过普通网络共享文件系统访问同一数据库,共享内存协调机制无法在该场景下可靠工作。

5.6 WAL 与 Rollback Journal

  • WAL 更适合持续读写的本地业务数据库
  • 只读场景、特殊文件系统、单文件交付等特殊场景,需单独评估 Rollback Journal
  • WAL 会引入 Checkpoint 与辅助文件管理的额外复杂度

WAL 显著改善了读写并行能力,但仍保留单写事务模型;长读事务、Checkpoint 策略、断电持久性都是工程设计必须纳入考量的要素。


六、性能优化:B-Tree 索引与查询调优方法论

6.1 索引

假设表中有 100 万条记录,执行如下查询:

sql 复制代码
SELECT * FROM inspection_records WHERE device_id = 'CAM01';

没有匹配索引时,SQLite 需扫描全表大量记录。创建对应索引:

sql 复制代码
CREATE INDEX idx_device_id
ON inspection_records(device_id);

索引查找可大幅降低数据定位成本,但最终性能仍取决于匹配行数、需读取的列与磁盘 I/O 状态。

6.2 索引不是越多越好

sql 复制代码
CREATE INDEX idx_device ON inspection_records(device_id);
CREATE INDEX idx_result ON inspection_records(result);
CREATE INDEX idx_time ON inspection_records(created_at_ms);

索引数量过多会带来三重代价:

  1. 占用更多磁盘存储空间
  2. 插入、更新操作需同步修改更多 B-Tree,增加开销
  3. 事务整体耗时变长,锁持有时间增加

索引设计应围绕高频查询展开,而非为每个字段机械创建索引。

6.3 联合索引的设计原则

针对如下查询:

sql 复制代码
SELECT *
FROM inspection_records
WHERE device_id = 'CAM01'
ORDER BY created_at_ms DESC
LIMIT 100;

可创建联合索引优化:

sql 复制代码
CREATE INDEX idx_device_time
ON inspection_records(device_id, created_at_ms DESC);

联合索引的列顺序直接决定性能:

  • (device_id, created_at_ms) 适合"先按设备筛选,再按时间排序"的查询
  • 仅包含 created_at_ms 条件时,无法保证同等查询效率
  • 优化器可能采用跳跃扫描等策略,最终效果需实测验证

6.4 覆盖索引:避免回表

sql 复制代码
SELECT created_at_ms
FROM inspection_records
WHERE device_id = 'CAM01'
ORDER BY created_at_ms DESC LIMIT 100;

如果索引已经包含查询所需的全部列,SQLite 无需回表读取主数据,直接通过索引返回结果,即覆盖索引 。性能敏感的查询应避免无意义的 SELECT *,尽可能利用覆盖索引。

6.5 EXPLAIN QUERY PLAN 分析

通过执行计划查看索引使用情况:

sql 复制代码
EXPLAIN QUERY PLAN
SELECT * FROM inspection_records
WHERE device_id = 'CAM01';

两种典型输出:

  • 命中索引:SEARCH inspection_records USING INDEX idx_device_id (device_id=?)
  • 全表扫描:SCAN inspection_records

注意:SEARCH 代表利用条件访问部分记录,SCAN 代表扫描全表或全索引,但并非所有 SCAN 都低效------当查询需读取大部分数据时,扫描可能比索引查找更优。查询计划文本会随 SQLite 版本变化,不可作为稳定可解析的程序接口。

6.6 历史查询优化

针对设备历史记录分页查询场景,推荐方案:

  1. 创建匹配查询模式的联合索引
sql 复制代码
CREATE INDEX idx_history
ON inspection_records(device_id, created_at_ms DESC, id DESC);
  1. 使用 Keyset Pagination(游标分页)替代 OFFSET 深分页
sql 复制代码
SELECT id, result, created_at_ms
FROM inspection_records
WHERE device_id = ?
  AND (
       created_at_ms < ?
       OR (created_at_ms = ? AND id < ?)
  )
ORDER BY created_at_ms DESC, id DESC
LIMIT 100;

时间戳相同时以主键继续比较,避免边界记录排序不稳定。

优化验证必须基于真实规模数据执行基准测试,不可仅通过小数据样本评判 SQL 性能。

明确查询模式 → 设计匹配索引 → 查看执行计划 → 真实数据实测,是 SQLite 查询优化的标准闭环。


七、工程调参:性能优化与 PRAGMA 参数

7.1 PRAGMA 配置速览

PRAGMA 指令 作用 意义
journal_mode 设置日志模式 直接影响并发能力与崩溃恢复机制
synchronous 磁盘同步策略 权衡提交延迟与断电持久性
busy_timeout 锁等待超时时间 降低短时锁竞争导致的报错概率
foreign_keys 外键约束开关 保障关联数据的引用完整性
wal_autocheckpoint WAL 自动检查点阈值 控制 Checkpoint 触发时机与 WAL 文件大小
cache_size 页面缓存大小 权衡内存占用与磁盘 I/O 次数
optimize 优化器统计维护 提升查询规划的准确性
quick_check 快速完整性检查 数据库日常维护与故障诊断

7.2 synchronous 同步级别

WAL 模式下两个核心级别:

  • FULL:提交时对 WAL 执行额外同步操作,大幅提升断电场景下已提交事务的持久性;会增加提交延迟。
  • NORMAL:通常可保证数据库结构一致性,但操作系统崩溃或断电时,最近提交成功的事务可能丢失;适合可重建的数据场景。

不同数据级别的配置建议:

数据类型 初始配置建议
关键检测结果与任务状态 WAL + FULL
不可重采集的数据索引 WAL + FULL
可重新生成的缩略图索引 可评估 WAL + NORMAL
完全临时的缓存数据 根据可恢复性单独设计

设备端落地时,还需验证文件系统、SSD 写缓存、掉电保护与供电环境的综合影响。

7.3 可靠性优先的初始化模板

text 复制代码
PRAGMA journal_mode = WAL;
PRAGMA synchronous = FULL;
PRAGMA foreign_keys = ON;
PRAGMA busy_timeout = 5000;

配置生效说明:

  • journal_mode=WAL 为数据库级持久设置,设置一次后永久生效
  • synchronous、foreign_keys、busy_timeout 为连接级配置,每个连接都需单独设置
  • 设置 WAL 模式后务必检查返回值,确认实际生效

7.4 批量事务的性能原理

低效的逐条提交模式:

text 复制代码
INSERT → COMMIT
INSERT → COMMIT
INSERT → COMMIT
... 共 1000 次

高吞吐的批量提交模式:

text 复制代码
BEGIN;
-- 批量执行多条 INSERT
COMMIT;

批量提交可显著减少提交次数与磁盘同步开销,但事务过长会增加锁持有时间与写入延迟。批量大小需综合吞吐、最大可接受持久化延迟、系统故障损失预算三个维度决定。

7.5 VACUUM 与空间回收

DELETE 操作释放的页面通常仅供 SQLite 内部复用,不会立即缩小 .db 文件体积。如需回收空闲空间,执行:

复制代码
VACUUM;

VACUUM 会重建整个数据库,是高 I/O、高磁盘占用、高耗时的维护操作,不宜在实时设备的写入高峰时段高频运行。

性能优化的优先级是:先保障数据丢失成本可控、事务设计合理,再调整缓存、批量大小与性能参数。


八、C++ / Python 中的 SQLite 编程规范

8.1 C API 速查

API 函数 用途
sqlite3_open_v2() 打开数据库连接
sqlite3_prepare_v2() 编译 SQL,生成预处理语句
sqlite3_bind_*() 绑定 SQL 参数
sqlite3_step() 执行语句并读取结果行
sqlite3_column_*() 读取结果列数据
sqlite3_finalize() 销毁预处理语句,释放资源
sqlite3_close() 关闭数据库连接

标准执行流程:
#mermaid-svg-gJIAWBQuk5SshNly{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-gJIAWBQuk5SshNly .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-gJIAWBQuk5SshNly .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-gJIAWBQuk5SshNly .error-icon{fill:#552222;}#mermaid-svg-gJIAWBQuk5SshNly .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-gJIAWBQuk5SshNly .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-gJIAWBQuk5SshNly .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-gJIAWBQuk5SshNly .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-gJIAWBQuk5SshNly .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-gJIAWBQuk5SshNly .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-gJIAWBQuk5SshNly .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-gJIAWBQuk5SshNly .marker{fill:#333333;stroke:#333333;}#mermaid-svg-gJIAWBQuk5SshNly .marker.cross{stroke:#333333;}#mermaid-svg-gJIAWBQuk5SshNly svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-gJIAWBQuk5SshNly p{margin:0;}#mermaid-svg-gJIAWBQuk5SshNly .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-gJIAWBQuk5SshNly .cluster-label text{fill:#333;}#mermaid-svg-gJIAWBQuk5SshNly .cluster-label span{color:#333;}#mermaid-svg-gJIAWBQuk5SshNly .cluster-label span p{background-color:transparent;}#mermaid-svg-gJIAWBQuk5SshNly .label text,#mermaid-svg-gJIAWBQuk5SshNly span{fill:#333;color:#333;}#mermaid-svg-gJIAWBQuk5SshNly .node rect,#mermaid-svg-gJIAWBQuk5SshNly .node circle,#mermaid-svg-gJIAWBQuk5SshNly .node ellipse,#mermaid-svg-gJIAWBQuk5SshNly .node polygon,#mermaid-svg-gJIAWBQuk5SshNly .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-gJIAWBQuk5SshNly .rough-node .label text,#mermaid-svg-gJIAWBQuk5SshNly .node .label text,#mermaid-svg-gJIAWBQuk5SshNly .image-shape .label,#mermaid-svg-gJIAWBQuk5SshNly .icon-shape .label{text-anchor:middle;}#mermaid-svg-gJIAWBQuk5SshNly .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-gJIAWBQuk5SshNly .rough-node .label,#mermaid-svg-gJIAWBQuk5SshNly .node .label,#mermaid-svg-gJIAWBQuk5SshNly .image-shape .label,#mermaid-svg-gJIAWBQuk5SshNly .icon-shape .label{text-align:center;}#mermaid-svg-gJIAWBQuk5SshNly .node.clickable{cursor:pointer;}#mermaid-svg-gJIAWBQuk5SshNly .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-gJIAWBQuk5SshNly .arrowheadPath{fill:#333333;}#mermaid-svg-gJIAWBQuk5SshNly .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-gJIAWBQuk5SshNly .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-gJIAWBQuk5SshNly .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-gJIAWBQuk5SshNly .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-gJIAWBQuk5SshNly .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-gJIAWBQuk5SshNly .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-gJIAWBQuk5SshNly .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-gJIAWBQuk5SshNly .cluster text{fill:#333;}#mermaid-svg-gJIAWBQuk5SshNly .cluster span{color:#333;}#mermaid-svg-gJIAWBQuk5SshNly div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-gJIAWBQuk5SshNly .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-gJIAWBQuk5SshNly rect.text{fill:none;stroke-width:0;}#mermaid-svg-gJIAWBQuk5SshNly .icon-shape,#mermaid-svg-gJIAWBQuk5SshNly .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-gJIAWBQuk5SshNly .icon-shape p,#mermaid-svg-gJIAWBQuk5SshNly .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-gJIAWBQuk5SshNly .icon-shape .label rect,#mermaid-svg-gJIAWBQuk5SshNly .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-gJIAWBQuk5SshNly .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-gJIAWBQuk5SshNly .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-gJIAWBQuk5SshNly :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} Open 打开连接
Prepare 编译语句
Bind 绑定参数
Step 执行读取
Finalize 释放语句
Close 关闭连接

预处理语句(Prepared Statement)有两大作用:

  1. 避免字符串拼接带来的 SQL 注入风险
  2. 重复执行时可减少解析编译开销,提升性能

8.2 C++ 写入示例

cpp 复制代码
#include <sqlite3.h>
#include <iostream>

int main() {
    sqlite3* db = nullptr;
    int rc = sqlite3_open("device.db", &db);
    if (rc != SQLITE_OK) {
        std::cerr << "Open failed: " << sqlite3_errmsg(db) << '\n';
        sqlite3_close(db);
        return 1;
    }

    sqlite3_busy_timeout(db, 5000);

    const char* create_sql =
        "CREATE TABLE IF NOT EXISTS sensor_data ("
        "id INTEGER PRIMARY KEY,"
        "temperature REAL NOT NULL"
        ");";
    rc = sqlite3_exec(db, create_sql, nullptr, nullptr, nullptr);
    if (rc != SQLITE_OK) {
        std::cerr << sqlite3_errmsg(db) << '\n';
        sqlite3_close(db);
        return 1;
    }

    const char* insert_sql =
        "INSERT INTO sensor_data(temperature) VALUES (?);";
    sqlite3_stmt* stmt = nullptr;
    rc = sqlite3_prepare_v2(db, insert_sql, -1, &stmt, nullptr);
    if (rc != SQLITE_OK) {
        std::cerr << sqlite3_errmsg(db) << '\n';
        sqlite3_close(db);
        return 1;
    }

    rc = sqlite3_bind_double(stmt, 1, 36.5);  // 参数从 1 开始编号
    if (rc == SQLITE_OK) {
        rc = sqlite3_step(stmt);
    }

    if (rc != SQLITE_DONE) {
        std::cerr << "Insert failed: " << sqlite3_errmsg(db) << '\n';
    }

    sqlite3_finalize(stmt);
    sqlite3_close(db);
    return rc == SQLITE_DONE ? 0 : 1;
}

CMake 集成配置:

cmake 复制代码
find_package(SQLite3 REQUIRED)
target_link_libraries(your_app PRIVATE SQLite::SQLite3)

开发关键:

  1. 始终使用参数绑定,禁止直接拼接不可信 SQL 文本
  2. 检查 prepare、bind、step 每一步的返回码;SELECT 语句成功读取行返回 SQLITE_ROW,无结果语句执行成功返回 SQLITE_DONE
  3. 必须调用 sqlite3_finalize() 释放 Statement 资源
  4. 正式 C++ 项目推荐使用 RAII 封装数据库连接与 Statement,覆盖异常与提前返回路径

8.3 线程安全模式与架构设计

SQLite 定义了三种线程安全级别:

  • Single-thread:关闭 SQLite 内部多线程互斥机制
  • Multi-thread:不同线程可并发使用不同连接,但不可同时使用同一连接及其派生对象
  • Serialized:内部互斥保证共享连接的 API 操作被串行化

默认编译通常为 Serialized 模式,但实际生效级别受编译选项、初始化参数、连接选项共同影响。

设备端架构:专用数据库写入线程
#mermaid-svg-OsOsOLAeYeiYyqAS{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-OsOsOLAeYeiYyqAS .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-OsOsOLAeYeiYyqAS .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-OsOsOLAeYeiYyqAS .error-icon{fill:#552222;}#mermaid-svg-OsOsOLAeYeiYyqAS .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-OsOsOLAeYeiYyqAS .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-OsOsOLAeYeiYyqAS .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-OsOsOLAeYeiYyqAS .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-OsOsOLAeYeiYyqAS .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-OsOsOLAeYeiYyqAS .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-OsOsOLAeYeiYyqAS .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-OsOsOLAeYeiYyqAS .marker{fill:#333333;stroke:#333333;}#mermaid-svg-OsOsOLAeYeiYyqAS .marker.cross{stroke:#333333;}#mermaid-svg-OsOsOLAeYeiYyqAS svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-OsOsOLAeYeiYyqAS p{margin:0;}#mermaid-svg-OsOsOLAeYeiYyqAS .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-OsOsOLAeYeiYyqAS .cluster-label text{fill:#333;}#mermaid-svg-OsOsOLAeYeiYyqAS .cluster-label span{color:#333;}#mermaid-svg-OsOsOLAeYeiYyqAS .cluster-label span p{background-color:transparent;}#mermaid-svg-OsOsOLAeYeiYyqAS .label text,#mermaid-svg-OsOsOLAeYeiYyqAS span{fill:#333;color:#333;}#mermaid-svg-OsOsOLAeYeiYyqAS .node rect,#mermaid-svg-OsOsOLAeYeiYyqAS .node circle,#mermaid-svg-OsOsOLAeYeiYyqAS .node ellipse,#mermaid-svg-OsOsOLAeYeiYyqAS .node polygon,#mermaid-svg-OsOsOLAeYeiYyqAS .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-OsOsOLAeYeiYyqAS .rough-node .label text,#mermaid-svg-OsOsOLAeYeiYyqAS .node .label text,#mermaid-svg-OsOsOLAeYeiYyqAS .image-shape .label,#mermaid-svg-OsOsOLAeYeiYyqAS .icon-shape .label{text-anchor:middle;}#mermaid-svg-OsOsOLAeYeiYyqAS .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-OsOsOLAeYeiYyqAS .rough-node .label,#mermaid-svg-OsOsOLAeYeiYyqAS .node .label,#mermaid-svg-OsOsOLAeYeiYyqAS .image-shape .label,#mermaid-svg-OsOsOLAeYeiYyqAS .icon-shape .label{text-align:center;}#mermaid-svg-OsOsOLAeYeiYyqAS .node.clickable{cursor:pointer;}#mermaid-svg-OsOsOLAeYeiYyqAS .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-OsOsOLAeYeiYyqAS .arrowheadPath{fill:#333333;}#mermaid-svg-OsOsOLAeYeiYyqAS .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-OsOsOLAeYeiYyqAS .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-OsOsOLAeYeiYyqAS .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-OsOsOLAeYeiYyqAS .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-OsOsOLAeYeiYyqAS .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-OsOsOLAeYeiYyqAS .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-OsOsOLAeYeiYyqAS .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-OsOsOLAeYeiYyqAS .cluster text{fill:#333;}#mermaid-svg-OsOsOLAeYeiYyqAS .cluster span{color:#333;}#mermaid-svg-OsOsOLAeYeiYyqAS div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-OsOsOLAeYeiYyqAS .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-OsOsOLAeYeiYyqAS rect.text{fill:none;stroke-width:0;}#mermaid-svg-OsOsOLAeYeiYyqAS .icon-shape,#mermaid-svg-OsOsOLAeYeiYyqAS .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-OsOsOLAeYeiYyqAS .icon-shape p,#mermaid-svg-OsOsOLAeYeiYyqAS .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-OsOsOLAeYeiYyqAS .icon-shape .label rect,#mermaid-svg-OsOsOLAeYeiYyqAS .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-OsOsOLAeYeiYyqAS .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-OsOsOLAeYeiYyqAS .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-OsOsOLAeYeiYyqAS :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-OsOsOLAeYeiYyqAS .producer>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .producer span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .producer tspan{fill:#0D47A1!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .queue>*{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .queue span{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .queue tspan{fill:#E65100!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .writer>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .writer span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .writer tspan{fill:#1B5E20!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .storage>*{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .storage span{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .storage tspan{fill:#263238!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .reader>*{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .reader span{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-OsOsOLAeYeiYyqAS .reader tspan{fill:#4A148C!important;} 读取路径
写入管线
生产线程
相机采集线程
检测推理线程
状态监控线程
有界线程安全写入队列
专用 Database Writer

短事务 · 批量写入
SQLite / WAL
独立读取连接

历史查询 / UI

该架构可显著降低业务线程直接竞争写事务的概率。

注意:内存队列中的数据尚未持久化,不能宣称数据已可靠落盘;队列满时需明确阻塞、丢弃或降级策略。

8.4 Python 开发示例

python 复制代码
import sqlite3

conn = sqlite3.connect("device.db", timeout=5.0)
try:
    conn.execute("PRAGMA journal_mode=WAL")
    conn.execute("PRAGMA synchronous=FULL")
    conn.execute("PRAGMA foreign_keys=ON")
    conn.execute("""
        CREATE TABLE IF NOT EXISTS sensor_data (
            id INTEGER PRIMARY KEY,
            temperature REAL NOT NULL
        )
    """)
    conn.execute("BEGIN IMMEDIATE")
    conn.execute(
        "INSERT INTO sensor_data(temperature) VALUES (?)",
        (36.5,)
    )
    conn.commit()
except Exception:
    conn.rollback()
    raise
finally:
    conn.close()

注意事项:

  1. 不同 Python 版本的 autocommit / isolation_level 设置会改变隐式事务行为,显式开启事务前需确认当前无活动事务
  2. 不要简单认为 check_same_thread=False 就能解决共享连接的线程安全问题

SQLite 编程的要点是:明确连接所有权、清晰事务边界、规范参数绑定、严格检查返回码、管理资源生命周期。


九、落地案例:断网缓存、可靠上传与数据一致性设计

9.1 先持久化,后上传

反模式:先上传,失败再存库

python 复制代码
while True:
    data = collect_data()
    try:
        upload_to_server(data)
    except Exception:
        save_to_sqlite(data)

该模式下,采集完成、数据未持久化时若进程崩溃,会直接造成数据丢失。

正确设计:先持久化数据与上传任务,再异步执行上传。
#mermaid-svg-VqgNw0vipNHApGnX{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-VqgNw0vipNHApGnX .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-VqgNw0vipNHApGnX .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-VqgNw0vipNHApGnX .error-icon{fill:#552222;}#mermaid-svg-VqgNw0vipNHApGnX .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-VqgNw0vipNHApGnX .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-VqgNw0vipNHApGnX .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-VqgNw0vipNHApGnX .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-VqgNw0vipNHApGnX .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-VqgNw0vipNHApGnX .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-VqgNw0vipNHApGnX .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-VqgNw0vipNHApGnX .marker{fill:#333333;stroke:#333333;}#mermaid-svg-VqgNw0vipNHApGnX .marker.cross{stroke:#333333;}#mermaid-svg-VqgNw0vipNHApGnX svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-VqgNw0vipNHApGnX p{margin:0;}#mermaid-svg-VqgNw0vipNHApGnX .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-VqgNw0vipNHApGnX .cluster-label text{fill:#333;}#mermaid-svg-VqgNw0vipNHApGnX .cluster-label span{color:#333;}#mermaid-svg-VqgNw0vipNHApGnX .cluster-label span p{background-color:transparent;}#mermaid-svg-VqgNw0vipNHApGnX .label text,#mermaid-svg-VqgNw0vipNHApGnX span{fill:#333;color:#333;}#mermaid-svg-VqgNw0vipNHApGnX .node rect,#mermaid-svg-VqgNw0vipNHApGnX .node circle,#mermaid-svg-VqgNw0vipNHApGnX .node ellipse,#mermaid-svg-VqgNw0vipNHApGnX .node polygon,#mermaid-svg-VqgNw0vipNHApGnX .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-VqgNw0vipNHApGnX .rough-node .label text,#mermaid-svg-VqgNw0vipNHApGnX .node .label text,#mermaid-svg-VqgNw0vipNHApGnX .image-shape .label,#mermaid-svg-VqgNw0vipNHApGnX .icon-shape .label{text-anchor:middle;}#mermaid-svg-VqgNw0vipNHApGnX .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-VqgNw0vipNHApGnX .rough-node .label,#mermaid-svg-VqgNw0vipNHApGnX .node .label,#mermaid-svg-VqgNw0vipNHApGnX .image-shape .label,#mermaid-svg-VqgNw0vipNHApGnX .icon-shape .label{text-align:center;}#mermaid-svg-VqgNw0vipNHApGnX .node.clickable{cursor:pointer;}#mermaid-svg-VqgNw0vipNHApGnX .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-VqgNw0vipNHApGnX .arrowheadPath{fill:#333333;}#mermaid-svg-VqgNw0vipNHApGnX .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-VqgNw0vipNHApGnX .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-VqgNw0vipNHApGnX .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-VqgNw0vipNHApGnX .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-VqgNw0vipNHApGnX .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-VqgNw0vipNHApGnX .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-VqgNw0vipNHApGnX .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-VqgNw0vipNHApGnX .cluster text{fill:#333;}#mermaid-svg-VqgNw0vipNHApGnX .cluster span{color:#333;}#mermaid-svg-VqgNw0vipNHApGnX div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-VqgNw0vipNHApGnX .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-VqgNw0vipNHApGnX rect.text{fill:none;stroke-width:0;}#mermaid-svg-VqgNw0vipNHApGnX .icon-shape,#mermaid-svg-VqgNw0vipNHApGnX .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-VqgNw0vipNHApGnX .icon-shape p,#mermaid-svg-VqgNw0vipNHApGnX .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-VqgNw0vipNHApGnX .icon-shape .label rect,#mermaid-svg-VqgNw0vipNHApGnX .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-VqgNw0vipNHApGnX .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-VqgNw0vipNHApGnX .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-VqgNw0vipNHApGnX :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-VqgNw0vipNHApGnX .capture>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-VqgNw0vipNHApGnX .capture span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-VqgNw0vipNHApGnX .capture tspan{fill:#0D47A1!important;}#mermaid-svg-VqgNw0vipNHApGnX .persist>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-VqgNw0vipNHApGnX .persist span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-VqgNw0vipNHApGnX .persist tspan{fill:#1B5E20!important;}#mermaid-svg-VqgNw0vipNHApGnX .db>*{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-VqgNw0vipNHApGnX .db span{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-VqgNw0vipNHApGnX .db tspan{fill:#263238!important;}#mermaid-svg-VqgNw0vipNHApGnX .worker>*{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-VqgNw0vipNHApGnX .worker span{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-VqgNw0vipNHApGnX .worker tspan{fill:#E65100!important;}#mermaid-svg-VqgNw0vipNHApGnX .cloud>*{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-VqgNw0vipNHApGnX .cloud span{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-VqgNw0vipNHApGnX .cloud tspan{fill:#4A148C!important;}#mermaid-svg-VqgNw0vipNHApGnX .ack>*{fill:#E0F7FA!important;stroke:#00838F!important;stroke-width:1.5px!important;color:#006064!important;}#mermaid-svg-VqgNw0vipNHApGnX .ack span{fill:#E0F7FA!important;stroke:#00838F!important;stroke-width:1.5px!important;color:#006064!important;}#mermaid-svg-VqgNw0vipNHApGnX .ack tspan{fill:#006064!important;}#mermaid-svg-VqgNw0vipNHApGnX .recover>*{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-VqgNw0vipNHApGnX .recover span{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-VqgNw0vipNHApGnX .recover tspan{fill:#880E4F!important;} 失败恢复
云端
、 上传管线
本地持久化
数据采集
持久化成功确认
网络失败或结果不确定
相机 / 传感器 / 检测算法
原始文件持久化
SQLite

记录索引 · 上传任务 · 状态
Upload Worker

领取 · 网络重试 · 断点恢复
云端 API / 对象存储
SQLite 更新为

ACKED 状态
重试 / 查询 / 状态恢复

SQLite 解决的是本地事务与持久化问题,无法自动解决网络交付的全部可靠性问题。

9.2 上传任务表设计

sql 复制代码
CREATE TABLE upload_tasks (
    id INTEGER PRIMARY KEY,
    idempotency_key TEXT NOT NULL UNIQUE,
    file_path TEXT NOT NULL,
    sha256 TEXT NOT NULL,
    status TEXT NOT NULL CHECK(status IN (
        'PENDING', 'INFLIGHT', 'ACKED', 'FAILED'
    )),
    attempts INTEGER NOT NULL DEFAULT 0,
    next_attempt_at_ms INTEGER NOT NULL DEFAULT 0,
    lease_until_ms INTEGER NOT NULL DEFAULT 0,
    lease_token TEXT,
    created_at_ms INTEGER NOT NULL,
    acked_at_ms INTEGER,
    last_error TEXT
) STRICT;

字段说明:

字段 业务作用
idempotency_key 稳定幂等键,同任务多次重试保持一致
file_path 待上传原始文件的本地路径
sha256 文件内容完整性校验值
status 任务当前状态
attempts 已重试次数
next_attempt_at_ms 允许下次重试的最早时间
lease_until_ms Worker 任务租约截止时间
lease_token 当前领取轮次的唯一标识

任务状态机:
#mermaid-svg-VTmnnyae5YKUm1nf{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-VTmnnyae5YKUm1nf .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-VTmnnyae5YKUm1nf .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-VTmnnyae5YKUm1nf .error-icon{fill:#552222;}#mermaid-svg-VTmnnyae5YKUm1nf .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-VTmnnyae5YKUm1nf .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-VTmnnyae5YKUm1nf .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-VTmnnyae5YKUm1nf .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-VTmnnyae5YKUm1nf .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-VTmnnyae5YKUm1nf .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-VTmnnyae5YKUm1nf .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-VTmnnyae5YKUm1nf .marker{fill:#333333;stroke:#333333;}#mermaid-svg-VTmnnyae5YKUm1nf .marker.cross{stroke:#333333;}#mermaid-svg-VTmnnyae5YKUm1nf svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-VTmnnyae5YKUm1nf p{margin:0;}#mermaid-svg-VTmnnyae5YKUm1nf .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-VTmnnyae5YKUm1nf .cluster-label text{fill:#333;}#mermaid-svg-VTmnnyae5YKUm1nf .cluster-label span{color:#333;}#mermaid-svg-VTmnnyae5YKUm1nf .cluster-label span p{background-color:transparent;}#mermaid-svg-VTmnnyae5YKUm1nf .label text,#mermaid-svg-VTmnnyae5YKUm1nf span{fill:#333;color:#333;}#mermaid-svg-VTmnnyae5YKUm1nf .node rect,#mermaid-svg-VTmnnyae5YKUm1nf .node circle,#mermaid-svg-VTmnnyae5YKUm1nf .node ellipse,#mermaid-svg-VTmnnyae5YKUm1nf .node polygon,#mermaid-svg-VTmnnyae5YKUm1nf .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-VTmnnyae5YKUm1nf .rough-node .label text,#mermaid-svg-VTmnnyae5YKUm1nf .node .label text,#mermaid-svg-VTmnnyae5YKUm1nf .image-shape .label,#mermaid-svg-VTmnnyae5YKUm1nf .icon-shape .label{text-anchor:middle;}#mermaid-svg-VTmnnyae5YKUm1nf .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-VTmnnyae5YKUm1nf .rough-node .label,#mermaid-svg-VTmnnyae5YKUm1nf .node .label,#mermaid-svg-VTmnnyae5YKUm1nf .image-shape .label,#mermaid-svg-VTmnnyae5YKUm1nf .icon-shape .label{text-align:center;}#mermaid-svg-VTmnnyae5YKUm1nf .node.clickable{cursor:pointer;}#mermaid-svg-VTmnnyae5YKUm1nf .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-VTmnnyae5YKUm1nf .arrowheadPath{fill:#333333;}#mermaid-svg-VTmnnyae5YKUm1nf .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-VTmnnyae5YKUm1nf .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-VTmnnyae5YKUm1nf .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-VTmnnyae5YKUm1nf .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-VTmnnyae5YKUm1nf .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-VTmnnyae5YKUm1nf .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-VTmnnyae5YKUm1nf .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-VTmnnyae5YKUm1nf .cluster text{fill:#333;}#mermaid-svg-VTmnnyae5YKUm1nf .cluster span{color:#333;}#mermaid-svg-VTmnnyae5YKUm1nf div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-VTmnnyae5YKUm1nf .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-VTmnnyae5YKUm1nf rect.text{fill:none;stroke-width:0;}#mermaid-svg-VTmnnyae5YKUm1nf .icon-shape,#mermaid-svg-VTmnnyae5YKUm1nf .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-VTmnnyae5YKUm1nf .icon-shape p,#mermaid-svg-VTmnnyae5YKUm1nf .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-VTmnnyae5YKUm1nf .icon-shape .label rect,#mermaid-svg-VTmnnyae5YKUm1nf .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-VTmnnyae5YKUm1nf .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-VTmnnyae5YKUm1nf .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-VTmnnyae5YKUm1nf :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-VTmnnyae5YKUm1nf .startend>*{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-VTmnnyae5YKUm1nf .startend span{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-VTmnnyae5YKUm1nf .startend tspan{fill:#263238!important;}#mermaid-svg-VTmnnyae5YKUm1nf .pending>*{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-VTmnnyae5YKUm1nf .pending span{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-VTmnnyae5YKUm1nf .pending tspan{fill:#E65100!important;}#mermaid-svg-VTmnnyae5YKUm1nf .inflight>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-VTmnnyae5YKUm1nf .inflight span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-VTmnnyae5YKUm1nf .inflight tspan{fill:#0D47A1!important;}#mermaid-svg-VTmnnyae5YKUm1nf .acked>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-VTmnnyae5YKUm1nf .acked span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-VTmnnyae5YKUm1nf .acked tspan{fill:#1B5E20!important;}#mermaid-svg-VTmnnyae5YKUm1nf .failed>*{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-VTmnnyae5YKUm1nf .failed span{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-VTmnnyae5YKUm1nf .failed tspan{fill:#880E4F!important;} 任务持久化创建
Worker 领取任务
云端成功持久化并返回确认
可重试错误,退回待执行
租约过期后自动恢复
不可恢复错误,标记失败
人工修复后重试
● 开始
PENDING

待执行
INFLIGHT

执行中
ACKED

已确认
FAILED

已失败
◉ 结束

9.3 多 Worker 防重复领取机制

两个 Worker 各自先 SELECT 再 UPDATE,会同时读取到同一个 PENDING 任务,造成重复领取。正确方案是将查询与领取放在同一个短写事务中:

sql 复制代码
BEGIN IMMEDIATE;
SELECT id
FROM upload_tasks
WHERE (
    status = 'PENDING' AND next_attempt_at_ms <= :now
) OR (
    status = 'INFLIGHT' AND lease_until_ms <= :now
)
ORDER BY created_at_ms
LIMIT 1;
-- 读取 SELECT 结果后执行更新;无符合条件任务则结束事务
UPDATE upload_tasks
SET status = 'INFLIGHT',
    attempts = attempts + 1,
    lease_token = :new_token,
    lease_until_ms = :lease_deadline
WHERE id = :selected_id;
COMMIT;

所有参数必须通过绑定方式传入;以上为应用层事务流程,并非可直接连续执行的完整 SQL 脚本。

原则:领取任务并提交事务后,再执行网络上传操作。绝对不能持有数据库写事务等待 HTTP 响应。

9.4 Lease Token 防状态覆盖

场景:Worker A 领取任务后网络卡顿,租约过期后 Worker B 领取了同一任务。此时 Worker A 收到迟到的成功响应,若无条件更新状态,会覆盖 Worker B 的当前状态。

解决方案:更新状态时必须校验本轮领取令牌

sql 复制代码
UPDATE upload_tasks
SET status = 'ACKED',
    acked_at_ms = :now,
    lease_token = NULL,
    lease_until_ms = 0
WHERE id = :task_id
  AND status = 'INFLIGHT'
  AND lease_token = :my_token;

检查受影响行数,若为 0 则说明当前 Worker 已不具备状态更新权限。该机制类似版本校验 / Fencing Token 的设计思路,但无法阻止早已发出的网络请求在服务端产生效果。

9.5 为什么 SQLite 无法独立保证 Exactly-Once

设备端无法仅通过本地状态区分"云端未处理"和"云端已处理但 ACK 丢失"。SQLite 的本地 ACID 事务无法跨越网络,与云端业务状态实现原子提交。

工程落地的标准组合方案:

  1. At-Least-Once Delivery(至少一次送达):结果不确定时主动重试,允许重复请求
  2. 幂等键 / 幂等操作:同一逻辑请求重复到达,不产生重复业务效果
  3. 持久化 ACK:服务端完成可靠写入后返回确认,客户端再标记为 ACKED
  4. 稳定任务 ID:同一任务的所有重试必须使用同一个幂等键

仅客户端添加 UUID 不会自动让服务端具备幂等性,服务端必须在自身事务边界内持久化幂等记录与业务结果。

9.6 故障恢复矩阵

故障场景 应对策略
采集后、持久化前崩溃 数据仍可能丢失,需采集侧做保护
任务保存后未上传即崩溃 重启后扫描所有 PENDING 任务
上传过程中断网 超时重试 + 指数退避策略
服务端成功但 ACK 丢失 使用同一幂等键重新确认 / 重试
Worker 执行中崩溃 租约过期后其他 Worker 重新领取
本地文件损坏或丢失 SHA-256 校验,标记异常并告警
磁盘空间不足 背压、告警、清理可回收缓存
SQLite 文件损坏 备份恢复,必要时重建元数据

9.7 文件与数据库的跨域一致性

图像等原始数据保存在文件系统,任务元数据保存在 SQLite,二者不属于同一个事务域,SQLite 事务无法自动保证二者的原子提交。

推荐执行顺序:

复制代码
采集数据
  ↓
写入临时文件
  ↓
必要同步 + 原子替换 / 重命名
  ↓
SQLite INSERT + COMMIT
  ↓
Worker 允许领取任务

系统重启后,需扫描孤儿文件、缺失文件与不完整任务做一致性校验。文件系统的原子重命名与断电持久性因操作系统、文件系统、硬件而异,需针对性验证同步协议。

该设计与 Transactional Outbox(事务发件箱) 思想一致:业务变更与待发送事件在同一个本地数据库事务内持久化,再由独立 Worker 异步发送。

SQLite 提供了本地事务的坚实基础,完整的可靠上传系统仍需要状态机、租约、幂等、确认、恢复与文件一致性设计共同支撑。


十、数据库维护

10.1 数据库备份方案

数据库完全关闭、日志已正常处理时,直接复制文件是一种可行的备份方式。但 WAL 模式下运行中的数据库,仅复制 device.db 无法包含全部已提交结果 ------部分提交数据可能还存储在 -wal 文件中。

官方提供的一致性备份接口:

  • C/C++:sqlite3_backup_init() / sqlite3_backup_step() 等 API
  • CLI 命令行:.backup 命令
  • SQL 语句:VACUUM INTO 可生成整理后的副本,适合特定场景

10.2 完整性检查与版本管理

常用诊断与维护指令:

shell 复制代码
PRAGMA quick_check;       -- 快速完整性检查,开销较低
PRAGMA integrity_check;   -- 全面完整性检查,开销可能较大
PRAGMA foreign_key_check; -- 外键约束一致性检查
PRAGMA user_version;      -- 自定义 Schema 版本号

应用升级时,应根据 Schema 版本执行受控的数据库迁移,并做好备份、事务控制与失败恢复;不应每次启动都无条件修改数据库结构。

10.3 安全性说明

SQLite 没有独立数据库服务器那样的账号、角色、远程认证体系,其安全保障更多依赖:

  • 应用层与操作系统的文件权限控制
  • 存储介质加密与密钥管理
  • 规范的参数绑定,防范 SQL 注入
  • 按需采用官方支持的数据库加密方案

标准 SQLite 默认不包含数据库文件加密能力。

10.4 架构选型

业务场景 选型倾向
单台工控机本地存储 SQLite 非常适合
多线程访问本地数据库,写事务很短 SQLite 可胜任,需实测验证
单设备存储数 GB 级数据 不能仅凭数据量判定需要迁移
多服务端对同一数据库高并发写入 倾向 PostgreSQL / MySQL
多设备通过网络共享文件直接读写 WAL 数据库 不推荐该架构
云端集中式多租户平台 通常更适合服务器型数据库

推荐的分层架构:
#mermaid-svg-BdjfkfYDgErV5GhQ{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-BdjfkfYDgErV5GhQ .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-BdjfkfYDgErV5GhQ .error-icon{fill:#552222;}#mermaid-svg-BdjfkfYDgErV5GhQ .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-BdjfkfYDgErV5GhQ .marker{fill:#333333;stroke:#333333;}#mermaid-svg-BdjfkfYDgErV5GhQ .marker.cross{stroke:#333333;}#mermaid-svg-BdjfkfYDgErV5GhQ svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-BdjfkfYDgErV5GhQ p{margin:0;}#mermaid-svg-BdjfkfYDgErV5GhQ .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-BdjfkfYDgErV5GhQ .cluster-label text{fill:#333;}#mermaid-svg-BdjfkfYDgErV5GhQ .cluster-label span{color:#333;}#mermaid-svg-BdjfkfYDgErV5GhQ .cluster-label span p{background-color:transparent;}#mermaid-svg-BdjfkfYDgErV5GhQ .label text,#mermaid-svg-BdjfkfYDgErV5GhQ span{fill:#333;color:#333;}#mermaid-svg-BdjfkfYDgErV5GhQ .node rect,#mermaid-svg-BdjfkfYDgErV5GhQ .node circle,#mermaid-svg-BdjfkfYDgErV5GhQ .node ellipse,#mermaid-svg-BdjfkfYDgErV5GhQ .node polygon,#mermaid-svg-BdjfkfYDgErV5GhQ .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-BdjfkfYDgErV5GhQ .rough-node .label text,#mermaid-svg-BdjfkfYDgErV5GhQ .node .label text,#mermaid-svg-BdjfkfYDgErV5GhQ .image-shape .label,#mermaid-svg-BdjfkfYDgErV5GhQ .icon-shape .label{text-anchor:middle;}#mermaid-svg-BdjfkfYDgErV5GhQ .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-BdjfkfYDgErV5GhQ .rough-node .label,#mermaid-svg-BdjfkfYDgErV5GhQ .node .label,#mermaid-svg-BdjfkfYDgErV5GhQ .image-shape .label,#mermaid-svg-BdjfkfYDgErV5GhQ .icon-shape .label{text-align:center;}#mermaid-svg-BdjfkfYDgErV5GhQ .node.clickable{cursor:pointer;}#mermaid-svg-BdjfkfYDgErV5GhQ .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-BdjfkfYDgErV5GhQ .arrowheadPath{fill:#333333;}#mermaid-svg-BdjfkfYDgErV5GhQ .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-BdjfkfYDgErV5GhQ .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-BdjfkfYDgErV5GhQ .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-BdjfkfYDgErV5GhQ .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-BdjfkfYDgErV5GhQ .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-BdjfkfYDgErV5GhQ .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-BdjfkfYDgErV5GhQ .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-BdjfkfYDgErV5GhQ .cluster text{fill:#333;}#mermaid-svg-BdjfkfYDgErV5GhQ .cluster span{color:#333;}#mermaid-svg-BdjfkfYDgErV5GhQ div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-BdjfkfYDgErV5GhQ .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-BdjfkfYDgErV5GhQ rect.text{fill:none;stroke-width:0;}#mermaid-svg-BdjfkfYDgErV5GhQ .icon-shape,#mermaid-svg-BdjfkfYDgErV5GhQ .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-BdjfkfYDgErV5GhQ .icon-shape p,#mermaid-svg-BdjfkfYDgErV5GhQ .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-BdjfkfYDgErV5GhQ .icon-shape .label rect,#mermaid-svg-BdjfkfYDgErV5GhQ .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-BdjfkfYDgErV5GhQ .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-BdjfkfYDgErV5GhQ .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-BdjfkfYDgErV5GhQ :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .edge tspan{fill:#0D47A1!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .localdb>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .localdb span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .localdb tspan{fill:#1B5E20!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .worker>*{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .worker span{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .worker tspan{fill:#E65100!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .api>*{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .api span{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .api tspan{fill:#4A148C!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .clouddb>*{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .clouddb span{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .clouddb tspan{fill:#263238!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .ui>*{fill:#E0F7FA!important;stroke:#00838F!important;stroke-width:1.5px!important;color:#006064!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .ui span{fill:#E0F7FA!important;stroke:#00838F!important;stroke-width:1.5px!important;color:#006064!important;}#mermaid-svg-BdjfkfYDgErV5GhQ .ui tspan{fill:#006064!important;} 业务平台
云端
上传与重试服务
边缘设备
机器人 / 工控机
本地 SQLite

数据索引 · 断网缓存 · 任务状态
Upload Worker

领取 · 重试 · 断点恢复
云端业务 API
PostgreSQL / MySQL
查询、统计与业务平台

SQLite 管理设备端可靠状态,服务器数据库管理集中访问与云端业务,二者互补。


总结

SQLite 将 数据结构、操作系统文件 I/O、事务日志、并发协调与崩溃恢复 整套机制整合为一个轻量的嵌入式数据库引擎。

  1. B-Tree 解决了数据组织与高效查询问题
  2. Pager 负责数据库页面、缓存与存储协调
  3. Rollback Journal / WAL 支撑原子提交与故障恢复
  4. 事务与锁 约束并发修改,底层仍为单写事务模型
  5. 应用层可靠协议 将本地持久化扩展为可恢复的断网缓存与可靠上传系统
相关推荐
上海潭龙东海科技有限公司18 分钟前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
老纪的技术唠嗑局1 小时前
OceanBase AI数据大会,我会这么逛
数据库
星恒随风1 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
草莓熊Lotso1 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构
星恒随风2 小时前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
天翼云开发者社区2 小时前
天翼云TeleDB最佳实践:某大型企业平滑去O,国产化替代一步到位
数据库
青山不见2 小时前
告别手动拼参数!IDEA 插件 Log2SQL:MyBatis/Hibernate 日志秒变可执行 SQL
数据库
李兆龙的博客2 小时前
从一到无穷大 #115:企业级 SSD 涨价后的容量利用率与磨损管理
数据库·ssd·nvme