python3使用sqlite3构建本地持久化缓存

环境:Windows 10_x64

python版本:3.9.2

sqlite3版本:3.34.0

日常python开发中会遇到数据持久化的问题,今天记录下如何使用sqlite3进行数据持久化,并提供示例代码及数据查看工具。

一、背景描述

python应用程序在运行过程中被kill掉(比如版本升级等情况),内存中的运行数据将会丢失,如果能够准实时将数据存储在缓存中,程序下次启动时将继续执行被kill之前的动作。

使用数据库作为持久化是笔记理想的选择,可现实情况可能需要python脚本进行本地持久化,相较于pickle等方式,sqlite3的持久化方式可扩展性比较强,方便后续迁移到mysql等数据库。

二、具体实现

1、基础使用示例

  • 查看版本信息
复制代码
import sqlite3
print(sqlite3.version_info) #显示sqlite3版本信息
print(sqlite3.sqlite_version) #显示SQLite版本信息
  • 数据库创建或连接
复制代码
conn = sqlite3.connect("test1.db")
cur = conn.cursor()
  • 数据表创建
复制代码
dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''
cur.executescript(dbCreate)
conn.commit()
  • 插入数据
复制代码
conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.commit()
  • 查询数据
复制代码
cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)

完整示例代码如下:

复制代码
#! /usr/bin/env python3
#--*-- ebcoding:utf-8 --*--

import sqlite3

dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''

# 创建或连接数据库
conn = sqlite3.connect("test1.db")
cur = conn.cursor()

cur.executescript(dbCreate)
conn.commit()

conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(2,'user2','123457')")
conn.commit()

cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)

conn.close()

运行效果:

生成的 test1.db 数据库文件可以使用 sqlitestudio 进行查看,软件运行效果如下:

下载地址:

https://sqlitestudio.pl/

如果下载过慢,可从如下文末提供的渠道获取。

2、代码封装示例

实际使用过程中,需要进行代码封装,以便后续使用,这里以通话记录为例演示下封装过程。

1)定义全局缓存 gDCdrData,用于在内存中存放数据;

2)定义全局队列 gQCDR ,用于数据传递;

3)定义sqlite3持久化文件,并定义保留时长;

4)创建 ObjCdrItem 类,用于定义item数据结构;

5)定义sqlite3管理类 ObjCDRMgr,用于管理sqlite3数据库;

6)启动 dataGenThrd 线程模拟数据创建;

7)启动 updateThrd 线程用于数据更新;

8)启动 cleanThrd 线程用于数据清理;

示例代码如下:

完整代码可从如下渠道获取:
关注微信公众号(聊聊博文,文末可扫码)后回复 20231106 获取。

运行效果如下:

数据文件打开效果如下:

三、资源下载

本文涉及文件和示例代码从如下途径获取:
关注微信公众号(聊聊博文,文末可扫码)后回复 20231106 获取。

好,就这么多了,希望对你有帮助。

相关推荐
念恒1230612 小时前
Python(循环中断)
开发语言·python
tsfy200313 小时前
Python 处理中文文件名的3个坑(附 Flask 上传解决函数)
开发语言·python·flask·文件上传·中文编码
AI技术控13 小时前
KV Cache 缓存机制的原理和应用:从 Transformer 推理到大模型服务优化
人工智能·python·深度学习·缓存·自然语言处理·transformer
vx-程序开发13 小时前
基于机器学习的动漫可视化系统的设计与实现-计算机毕业设计源码08339
java·c++·spring boot·python·spring·django·php
爱睡懒觉的焦糖玛奇朵13 小时前
【从视频到数据集:焦糖玛奇朵的魔法工具Video To YOLO Dataset】
人工智能·python·学习·yolo·音视频
石榴树下的七彩鱼14 小时前
医疗票据 OCR 识别 API 多场景落地指南:医保结算 + 商保理赔 + 医疗信息化(附 Python/Java 完整示例)
java·python·ocr·石榴智能·医疗票据ocr·医保结算·ocrapi
idingzhi14 小时前
A股量化策略日报(2026年05月22日)
android·开发语言·python·kotlin
song50114 小时前
多卡训练加速:HCCL 集合通信实战
分布式·python·flutter·ci/cd·分类
江上清风山间明月15 小时前
如何将python开发的window应用打包成exe
开发语言·python·exe·打包
知识分享小能手15 小时前
Flask入门学习教程,从入门到精通, Flask模板 — 完整知识点与案例代码 (2)
python·学习·flask