SQLite的入门级项目学习记录(四)

性能评估和测试

规划项目

**1、框架选择:**前端交互和线程控制用pyside,SQLite作为数据库支持。

**2、预估数据量:**每秒10个数据,每个月约26000000(26M)条。

3、压力测试: 首先用python脚本创建一个数据库,数据库中只有一个表,表中只有一列,共有26M条数据,每个数据的内容是当前系统时间的字符串,str(datetime.now()),这样可以大致模拟一个月的数据量。然后,用脚本操作数据库,增加新的数据条目,测试如果每个月生成数据库文件,是否能满足系统的速度要求(每秒10个数据)。

运行以下的脚本创建数据库文件:

python 复制代码
import sqlite3
from datetime import datetime


def store_data(conn, cursor, data):
    try:
        cursor.execute('BEGIN TRANSACTION')
        cursor.executemany('INSERT INTO measurements (data) VALUES (?)', data)
        conn.commit()
    except Exception as e:
        print(f"An error occurred: {e}")


# 创建数据库连接和游标
db_file = 'createDatas.db'
conn = sqlite3.connect(db_file)
cursor = conn.cursor()

# 创建表
cursor.execute('''
    CREATE TABLE IF NOT EXISTS measurements (
        data TEXT NOT NULL
    )
''')

conn.commit()

# 存储数据
j = 0
x = 0
data = []
while x < 26000000:
    while j < 10000:
        data.append((str(datetime.now()),))
        j += 1
    store_data(conn, cursor, data)
    cursor.execute('SELECT COUNT(*) FROM measurements')
    x = cursor.fetchone()[0]

    j = 0
    data = []
    print(x)
# 关闭连接和游标
cursor.close()
conn.close()

压力测试:

python 复制代码
import sqlite3
from datetime import datetime
from time import time


def store_data(conn, cursor, data):
    try:
        cursor.execute('BEGIN TRANSACTION')
        cursor.executemany('INSERT INTO measurements (data) VALUES (?)', data)
        conn.commit()
    except Exception as e:
        print(f"An error occurred: {e}")


# 创建数据库连接和游标
db_file = 'createDatas.db'
conn = sqlite3.connect(db_file)
cursor = conn.cursor()
x = 0
j = 0
# 创建一个100个元素的数据组
data = []
while j < 100:
    data.append((str(datetime.now()),))
    j += 1
while x < 100:
    time1 = time()
    store_data(conn, cursor, data)
    time2 = time()
    print(time2 - time1)
    x += 1
# 关闭连接和游标
cursor.close()
conn.close()

运行结果:

python 复制代码
0.03693747520446777
0.036476850509643555
0.03375363349914551
0.03529238700866699
0.03457474708557129
0.03527641296386719
0.03363299369812012
0.03394293785095215
0.03500247001647949
0.03366684913635254
0.03717041015625
0.03408193588256836
0.035376787185668945
0.13425254821777344
0.03524899482727051
0.034047603607177734

看得出,即使是拥有2600W条数据的表中增加100条数据,耗时也仅为30ms左右。

然后,我将脚本修改一下,把每次写入的条数改为10和1000,耗时变化不大。

再将表的起始条数改为100条测试,耗时变化也不大。

这也就可以得出结论,本项目,每个月量的数据库,SQLite是完全可以满足写入速度要求的(即使每秒写一次也有足够的裕量)。

相关推荐
好好研究1 小时前
学习栈和队列的插入和删除操作
数据结构·学习
新中地GIS开发老师2 小时前
新发布:26考研院校和专业大纲
学习·考研·arcgis·大学生·遥感·gis开发·地理信息科学
SH11HF3 小时前
小菜狗的云计算之旅,学习了解rsync+sersync实现数据实时同步(详细操作步骤)
学习·云计算
Frank学习路上3 小时前
【IOS】XCode创建firstapp并运行(成为IOS开发者)
开发语言·学习·ios·cocoa·xcode
Chef_Chen4 小时前
从0开始学习计算机视觉--Day07--神经网络
神经网络·学习·计算机视觉
X_StarX6 小时前
【Unity笔记02】订阅事件-自动开门
笔记·学习·unity·游戏引擎·游戏开发·大学生
MingYue_SSS6 小时前
开关电源抄板学习
经验分享·笔记·嵌入式硬件·学习
weixin_437398217 小时前
转Go学习笔记(2)进阶
服务器·笔记·后端·学习·架构·golang
慕y2747 小时前
Java学习第十六部分——JUnit框架
java·开发语言·学习
peace..8 小时前
温湿度变送器与电脑进行485通讯连接并显示在触摸屏中(mcgs)
经验分享·学习·其他