lazarus开发:提升sqlite数据插入速度

目录

[1 前言](#1 前言)

[2 优化数据容器](#2 优化数据容器)

[3 开启事务插入数据](#3 开启事务插入数据)

[4 其他方面优化](#4 其他方面优化)


1 前言

近期有一个需求是向数据库中插入excel文件中的10万多条数据,接近70个字段。最初整个插入数据时间是大约40分钟,经过优化调整后,大幅优化为大约5分钟。这里简单介绍一下采取的措施。

2 优化数据容器

这里的数据容器是指,数据从外部读入后,插入数据库之前,暂时存放在什么地方。原来是以com方式调用excel程序,打开excel文件,读取数据到stringGrid中。这种方式速度慢,容易出错。现在改用fpsDataset读取excel数据,数据直接保存在数据集中。后面执行数据显示和插入数据到数据库中,直接操作这个数据集就可以了,非常快速高效。

前面介绍过这个fpSpreadSheet这个神器,操作电子表格太方便了。

Delphi 复制代码
    wsDataset := TsWorksheetDataset.create(self);
    wsDataset.FileName := UTF8ToSys(fn); // fn是excel文件名
    wsDataset.Open; 

3 开启事务插入数据

开启事务方式后,插入数据效率有数十倍的提升!lazarus操作sqlite数据库,使用事务的语法如下:

Delphi 复制代码
  DM.SQLTransaction1.EndTransaction;
  DM.SQLTransaction1.StartTransaction;  

  循环开始
  。。。。。。

      sql := 。。。。。。

      try
        DM.SQLite3Conn.ExecuteDirect(sql);
      except
        on E: Exception do
        begin
          showmessage('出错了7: ' + E.ClassName + '/' + E.Message);
          memo1.append(ansiToUtf8(sql));
          memo1.append('插入记录失败,sql语句:');
          dm.SQLTransaction1.RollBack;
          exit;
        end;
      end;   

  。。。。。。
  循环结束

  DM.SQLTransaction1.Commit;

4 其他方面优化

如果数据量特别大,就不需要在程序界面全部显示所有数据,那样太浪费时间,可以只显示100行或者1000行数据。

相关推荐
l1t5 小时前
在Lua用luasql-sqlite3库访问SQLite数据库
数据库·git·sqlite·lua
qqxhb5 小时前
系统架构设计师备考第61天——嵌入式系统架构模式&操作系统&数据库&中间件
数据库·中间件·系统架构·sqlite·dds·层次化(封闭/开放)·递归模式
集成显卡11 小时前
Bun.js + Elysia 框架实现基于 SQLITE3 的简单 CURD 后端服务
开发语言·javascript·sqlite·bun.js
deephub2 天前
构建有记忆的 AI Agent:SQLite 存储 + 向量检索完整方案示例
数据库·人工智能·sqlite·大语言模型·向量检索·智能体
言之。2 天前
Django `select_related` 查询优化
数据库·django·sqlite
芙蓉王真的好12 天前
Django 新手常见错误:模板找不到、数据库连接失败的解决办法
数据库·django·sqlite
言之。2 天前
django model Manager
数据库·django·sqlite
不剪发的Tony老师3 天前
SQLiteSpy:一款轻量级的SQLite管理工具
数据库·sqlite
XXX-X-XXJ4 天前
Django 用户认证流程详解:从原理到实现
数据库·后端·python·django·sqlite
雨奔5 天前
Django 学习路线图
学习·django·sqlite