SQLite批量INSERT

SQLite是一种轻量级、零配置的数据库管理系统。它的数据存储在一个单一的磁盘文件上,使得它非常适合嵌入式系统和移动应用。

在SQLite数据库中进行大批量记录INSERT,有三种方法,三种方法的效率由高低,本文举例说明。

方法一:逐条记录INSERT,这也是效率最低的方法

下面以逐条记录INSERT的方法,向SQLite数据库插入1000条数据,看一下耗时多长。

预先创建数据库myDB.db,在其中创建表myTabel:

sql 复制代码
CREATE TABLE IF NOT EXISTS my_table ( \
                            id INTEGER PRIMARY KEY, \
                            a TEXT, \
                            b INTEGER)

其中,id字段为自增字段,INSERT时,只需要提供a和b的值即可,代码如下:

cpp 复制代码
#include <chrono>
#include <iostream>
#include <thread>
#include <QSqlDatabase>
#include <QSqlQuery>
#include <QSqlError>

//方式一:单条记录逐条INSERT
auto tms = std::chrono::duration_cast<std::chrono::milliseconds>(std::chrono::system_clock().now().time_since_epoch()).count();
for(int i = 0; i < 1000; i++)
{
    int b = i + 1;
    QString a = QString("a_%1").arg(b);
    sql = QString("INSERT INTO myTable (a, b) VALUES('%1', %2)").arg(a).arg(b);
    if(!query.exec(sql))
    {
        std::cout << "INSERT INTO failed" << std::endl;
        db.close();
        return 0;
    }
}
auto tme = std::chrono::duration_cast<std::chrono::milliseconds>(std::chrono::system_clock().now().time_since_epoch()).count();
int span = static_cast<int>(tme - tms);
std::cout << "方式一:插入1000条记录耗时 " << span << " 毫秒!" << std::endl;
//以上程序输出 方式一:插入1000条记录耗时 171978 毫秒!

以上可见,使用逐条记录INSERT的方法,插入1000条记录到SQLite数据库,需要耗时172秒(171987毫秒)!

方法二,使用 UNION ALL 的SQL语句批量INSERT,这个方法效率居中

"UNION ALL" 是一种用来合并两个或多个 SQL 查询结果集的操作符。与 "UNION" 不同的是,"UNION ALL" 不会去重查询结果集,而是将所有的行都包含在结果中。

SQLite中的代码生成器会使用一种递归算法来对复合SELECT语句进行处理。对栈的大小有必要进行一下限制,我们会因为这个缘故对复合SELECT中的段落数量进行限制。段落的最大数量限制参数就是 SQLITE_MAX_COMPOUND_SELECT ,其默认值为 500。

由于UNION ALL的记录数目最大被限制为500条,因此,以下代码中,将1000条记录分拆成500条的2个部分进行INSERT操作:

cpp 复制代码
//方式二:1000条记录合并到一个INSERT语句插入
//SQLITE_MAX_COMPOUND_SELECT限制500条
auto tms = std::chrono::duration_cast<std::chrono::milliseconds>(std::chrono::system_clock().now().time_since_epoch()).count();
QString sql = "INSERT INTO my_table(a, b) ";
for(int i = 0; i < 500; i++)
{
    int b = i + 1;
    QString a = QString("a_%1").arg(b);

    sql += QString("SELECT '%1', %2 ").arg(a).arg(b);
    if(i != 499)
        sql += "UNION ALL ";
}
if(!query.exec(sql))
{
    std::cout << "UNION 1 INSERT INTO failed : " << query.lastError().text().toStdString() << std::endl;
    db.close();
    return;
}
sql = "INSERT INTO my_table(a, b) ";
for(int i = 500; i < 1000; i++)
{
    int b = i + 1;
    QString a = QString("a_%1").arg(b);

    sql += QString("SELECT '%1', %2 ").arg(a).arg(b);
    if(i != 999)
        sql += "UNION ALL ";
}
if(!query.exec(sql))
{
    std::cout << "UNION 2 INSERT INTO failed : " << query.lastError().text().toStdString() << std::endl;
    db.close();
    return;
}
auto tme = std::chrono::duration_cast<std::chrono::milliseconds>(std::chrono::system_clock().now().time_since_epoch()).count();
int span = static_cast<int>(tme - tms);
std::cout << "方式二:插入1000条记录耗时 " << span << " 毫秒!" << std::endl;
//以上程序输出 方式二:插入1000条记录耗时 310 毫秒!

以上可见,使用UNION ALL的SQL语句批量INSERT的方法,插入1000条记录到SQLite数据库,需要耗时0.31秒(310毫秒)!

方法三,开启事务,逐条记录INSERT,提交事务,这是效率最高的方法

在SQLite中,事务是一种机制,用于确保数据库操作的一致性和完整性。事务通过保证一系列操作的成功或失败不会影响数据库的状态来实现这一点。

以下代码通过启动事务,逐条插入,最后提交事务的方式将1000条记录插入SQLite数据库:

cpp 复制代码
//方式三:启动事务,单条记录逐条INSERT,提交事务
auto tms = std::chrono::duration_cast<std::chrono::milliseconds>(std::chrono::system_clock().now().time_since_epoch()).count();

//启动事务
db.transaction();

//逐条插入
for(int i = 0; i < 1000; i++)
{
    int b = i + 1;
    QString a = QString("a_%1").arg(b);
    sql = QString("INSERT INTO my_table (a, b) VALUES('%1', %2)").arg(a).arg(b);
    if(!query.exec(sql))
    {
        std::cout << "transaction INSERT INTO failed" << std::endl;
        db.rollback();
        db.close();
        return;
    }
}

//提交事务
db.commit();

auto tme = std::chrono::duration_cast<std::chrono::milliseconds>(std::chrono::system_clock().now().time_since_epoch()).count();
int span = static_cast<int>(tme - tms);
std::cout << "方式三:插入1000条记录耗时 " << span << " 毫秒!" << std::endl;
//以上程序输出 方式三:插入1000条记录耗时 192 毫秒!

以上可见,使用通过启动事务,逐条插入,最后提交事务的方式,插入1000条记录到SQLite数据库,需要耗时0.192秒(192毫秒)!

相关推荐
师太,答应老衲吧13 分钟前
SQL实战训练之,力扣:2020. 无流量的帐户数(递归)
数据库·sql·leetcode
Channing Lewis1 小时前
salesforce case可以新建一个roll up 字段,统计出这个case下的email数量吗
数据库·salesforce
毕业设计制作和分享3 小时前
ssm《数据库系统原理》课程平台的设计与实现+vue
前端·数据库·vue.js·oracle·mybatis
ketil273 小时前
Redis - String 字符串
数据库·redis·缓存
Hsu_kk4 小时前
MySQL 批量删除海量数据的几种方法
数据库·mysql
编程学无止境4 小时前
第02章 MySQL环境搭建
数据库·mysql
knight-n4 小时前
MYSQL库的操作
数据库·mysql
包饭厅咸鱼5 小时前
QML----复制指定下标的ListModel数据
开发语言·数据库
生命几十年3万天5 小时前
redis时间优化
数据库·redis·缓存
Elastic 中国社区官方博客5 小时前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理