杂记:记录一次Sqlite的使用问题

杂记:记录一次Sqlite的使用问题

问题描述

在嵌入式设备中使用Sqlite保存数据,由于设备未做掉电处理,在保存数据后,立即下电,会导致数据未能保存到数据库文件中。如下图所示:上电验证数据库读出的数据和设定值不一致,数据未能保存成功。

如果保存参数后,稍等一会(时间也不长)再下电,再上电验证,数据已经刷新到数据库文件中,已经保存成功了。

问题分析

根据上面的问题说明,两张图片的对比,调用SQLite的接口处理返回都是成功的,差别就是是否有给处理器足够的时间去处理是否刷新缓存。

所以,解决思路就是,主动刷新缓存。可以有两种方法,其一,找找看SQlite本身有没有提供接口或者配置去实现该功能;其二,系统调用去刷新缓存。

解决办法

在Linux系统中,使用SQLite数据库时,如果你想让数据库的更改实时刷新到文件中,可以通过几种方式实现。SQLite默认的行为是延迟写入,这意味着更改可能在内存中累积一段时间后才实际写入磁盘,以提高性能。但是,你可以通过一些方法强制SQLite立即将更改写入磁盘。

方法1:使用PRAGMA synchronous设置

SQLite的PRAGMA synchronous指令可以用来控制数据库的同步模式。设置为NORMAL模式时,数据库会在事务提交时将更改写入磁盘,但不会立即刷新到磁盘。如果你想要每次事务后都立即刷新到磁盘,可以将synchronous设置为FULL。

bash 复制代码
PRAGMA synchronous = FULL;

这将确保每次事务提交后,所有的更改都会被立即写入磁盘。

方法2:使用wal_autocheckpoint和journal_mode

对于使用WAL(Write-Ahead Logging)模式的SQLite数据库,你可以通过调整wal_autocheckpoint和journal_mode来控制何时将更改写入磁盘。

设置WAL模式:

bash 复制代码
PRAGMA journal_mode = WAL;

调整wal_autocheckpoint:这个参数定义了在WAL模式下,数据库在何时自动将内存中的更改checkpoint到磁盘。设置为0可以禁用自动checkpoint。

PRAGMA wal_autocheckpoint = ; -- 例如,设置为1000

方法3:显式调用VACUUM或COMMIT

每次执行事务后,显式调用COMMIT;可以确保当前事务的所有更改都被写入磁盘。如果你使用的是WAL模式,还可以定期执行VACUUM;来强制将所有缓存的更改写入磁盘。

bash 复制代码
BEGIN TRANSACTION;
-- 执行一些数据库操作
COMMIT;

或者对于WAL模式:

bash 复制代码
VACUUM;

方法4:使用fsync()系统调用(不推荐)

在应用程序级别,你可以在每次事务后调用操作系统提供的fsync()函数来确保文件被刷新到磁盘。这种方法通常不推荐,因为它会降低性能,并且最好通过SQLite的配置来完成。不过,如果你有特殊需求,可以使用如下方式(需C语言或类似环境):

bash 复制代码
#include <unistd.h>
#include <fcntl.h>
 
int fd = open("your_database_file.db", O_RDONLY);
if (fd != -1) {
    fsync(fd);
    close(fd);
}

小结

通常,通过设置合适的PRAGMA synchronous值或使用WAL模式配合适当的自动checkpoint设置,可以有效地管理SQLite的磁盘写入策略。这些方法提供了灵活的控制,既可以保证数据的安全,又不会显著影响性能。对于大多数应用场景,推荐使用方法1或方法2。

程序修改结果

在创建配置号数据库的PRAGMA journal_mode = WAL使用时写入日志模式,控制写入操作的同步级别,以平衡性能和数据安全性,PRAGMA synchronous = FULL-- 确保数据完全写入磁盘,安全性最高。

bash 复制代码
PRAGMA journal_mode = WAL;
PRAGMA synchronous = FULL;

总结

QLite 的 PRAGMA 指令为开发者提供了强大的工具,用于控制数据库行为和配置选项。通过合理使用这些指令,可以优化数据库性能,增强数据完整性以及满足特定应用需求。本文介绍的 PRAGMA 指令包括常用的配置选项、完整性检查、版本控制等,帮助读者理解其功能及适用场景。

在实际开发中,开发者应根据应用需求选择合适的 PRAGMA 指令,优化数据库性能,并确保数据的完整性和一致性。希望本文能够为读者在 SQLite 数据库管理中提供有价值的指导,使其更高效地利用 SQLite 的各种特性。

相关推荐
编程乐学(Arfan开发工程师)1 分钟前
信息收集与分析详解:渗透测试的侦察兵 (CISP-PTE 核心技能)
java·开发语言·javascript·python
Filotimo_5 分钟前
在java开发中:JSON序列化和JSON反序列化
java·microsoft·json
czlczl200209258 分钟前
SpringBoot实践:从验证码到业务接口的完整交互生命周期
java·spring boot·redis·后端·mysql·spring
Han_coding12089 分钟前
从原理到实战:基于游标分页解决深分页问题(附源码方案)
java·服务器·数据库·spring boot·spring cloud·oracle
二等饼干~za89866810 分钟前
碰一碰发视频系统源码开发搭建--技术分享
java·运维·服务器·重构·django·php·音视频
ss27313 分钟前
线程池优雅关闭:线程池生命周期管理:四种关闭策略的实战对比
java·jvm·算法
不能只会打代码17 分钟前
蓝桥杯--生命之树(Java)
java·算法·蓝桥杯·动态规划·贪心
多则惑少则明18 分钟前
AI大模型实用(九)Java快速实现智能体整理(使用LangChain4j-agentic + Tool)
java·人工智能·springai·langchain4j
与遨游于天地19 分钟前
深入了解 Java `synchronized`:从对象头到锁升级、线程竞争感知
java·开发语言·c#
天天摸鱼的java工程师20 分钟前
Kafka 消息积压处理实战:百万级队列清空的优化技巧
java·后端