SQLite的入门级项目学习记录(四)

性能评估和测试

规划项目

**1、框架选择:**前端交互和线程控制用pyside,SQLite作为数据库支持。

**2、预估数据量:**每秒10个数据,每个月约26000000(26M)条。

3、压力测试: 首先用python脚本创建一个数据库,数据库中只有一个表,表中只有一列,共有26M条数据,每个数据的内容是当前系统时间的字符串,str(datetime.now()),这样可以大致模拟一个月的数据量。然后,用脚本操作数据库,增加新的数据条目,测试如果每个月生成数据库文件,是否能满足系统的速度要求(每秒10个数据)。

运行以下的脚本创建数据库文件:

python 复制代码
import sqlite3
from datetime import datetime


def store_data(conn, cursor, data):
    try:
        cursor.execute('BEGIN TRANSACTION')
        cursor.executemany('INSERT INTO measurements (data) VALUES (?)', data)
        conn.commit()
    except Exception as e:
        print(f"An error occurred: {e}")


# 创建数据库连接和游标
db_file = 'createDatas.db'
conn = sqlite3.connect(db_file)
cursor = conn.cursor()

# 创建表
cursor.execute('''
    CREATE TABLE IF NOT EXISTS measurements (
        data TEXT NOT NULL
    )
''')

conn.commit()

# 存储数据
j = 0
x = 0
data = []
while x < 26000000:
    while j < 10000:
        data.append((str(datetime.now()),))
        j += 1
    store_data(conn, cursor, data)
    cursor.execute('SELECT COUNT(*) FROM measurements')
    x = cursor.fetchone()[0]

    j = 0
    data = []
    print(x)
# 关闭连接和游标
cursor.close()
conn.close()

压力测试:

python 复制代码
import sqlite3
from datetime import datetime
from time import time


def store_data(conn, cursor, data):
    try:
        cursor.execute('BEGIN TRANSACTION')
        cursor.executemany('INSERT INTO measurements (data) VALUES (?)', data)
        conn.commit()
    except Exception as e:
        print(f"An error occurred: {e}")


# 创建数据库连接和游标
db_file = 'createDatas.db'
conn = sqlite3.connect(db_file)
cursor = conn.cursor()
x = 0
j = 0
# 创建一个100个元素的数据组
data = []
while j < 100:
    data.append((str(datetime.now()),))
    j += 1
while x < 100:
    time1 = time()
    store_data(conn, cursor, data)
    time2 = time()
    print(time2 - time1)
    x += 1
# 关闭连接和游标
cursor.close()
conn.close()

运行结果:

python 复制代码
0.03693747520446777
0.036476850509643555
0.03375363349914551
0.03529238700866699
0.03457474708557129
0.03527641296386719
0.03363299369812012
0.03394293785095215
0.03500247001647949
0.03366684913635254
0.03717041015625
0.03408193588256836
0.035376787185668945
0.13425254821777344
0.03524899482727051
0.034047603607177734

看得出,即使是拥有2600W条数据的表中增加100条数据,耗时也仅为30ms左右。

然后,我将脚本修改一下,把每次写入的条数改为10和1000,耗时变化不大。

再将表的起始条数改为100条测试,耗时变化也不大。

这也就可以得出结论,本项目,每个月量的数据库,SQLite是完全可以满足写入速度要求的(即使每秒写一次也有足够的裕量)。

相关推荐
彤银浦28 分钟前
Web学习笔记3
前端·笔记·学习·html5
之歆30 分钟前
Python-魔术方法-创建、初始化与销毁-hash-bool-可视化-运算符重载-容器和大小-可调用对象-上下文管理-反射-描述器-二分-学习笔记
笔记·python·学习
优乐美香芋味好喝35 分钟前
2025年7月11日学习笔记&一周归纳——模式识别与机器学习
笔记·学习·机器学习
声网2 小时前
对话 AI 陪伴新宠 Tolan 创始人:拒绝「恋爱脑」,「非人」陪伴更受欢迎?丨 Voice Agent 学习笔记
人工智能·笔记·学习
丁满与彭彭3 小时前
嵌入式学习笔记--MCU阶段--day03中断
笔记·单片机·学习
艾莉丝努力练剑3 小时前
【C语言】学习过程教训与经验杂谈:思想准备、知识回顾(五)
c语言·开发语言·数据结构·学习·算法
future14124 小时前
游戏开发日记7.12
数据结构·学习·c#·游戏开发
阿群今天学习了吗4 小时前
pytorch环境配置
人工智能·pytorch·python·学习·机器学习
武昌库里写JAVA6 小时前
使用 Java 开发大数据应用:Hadoop 与 Java API 的结合
java·开发语言·spring boot·学习·课程设计
zlbbme_7 小时前
Android Studio学习笔记:为应用添加文本和图片
笔记·学习