使用 SQL 和表格数据进行问答和 RAG(1)—数据库准备

一. 从 .sql/csv/xlsx 文件创建 sqlite 数据库

  1. 要从.sql文件准备 SQL DB,这里会将创建数据库的代码放到了,将文件复制到data/sql目录中,然后在终端中的项目文件夹中执行:

    pip install sqlite3

  2. 现在创建一个名为sqldb的数据库:

    sqlite3 data/sqldb.db

注意:这里进入 SQLite 命令行后,就不需要再使用 sqlite3 命令

  1. 使用 .read 命令加载 SQL 文件:

    .read data/sql/<name of your sql database>.sql

比如:

复制代码
.read data/sql/Chinook_Sqlite.sql
  1. 执行 SQL 查询验证是否成功创建了数据库,直接输入 SQL 语句:

    SELECT * FROM <any Table name in your sql database> LIMIT 10;

比如:

复制代码
SELECT * FROM Artist LIMIT 10;

输出:

二. 从 CSV 和 XLSX 文件中准备 SQL 数据库,请先将文件复制到data/csv_xlsx中,并在终端中从项目文件夹中执行:

复制代码
python src/prepare_csv_xlsx_sqlitedb.py

此命令将在data目录中创建一个名为csv_xlsx_sqldb.db的 SQL 数据库。

三. 从 CSV 和 XLSX 文件准备 vectorDB,请将文件复制到data/for_upload中,并在终端中从项目文件夹中执行

复制代码
python src/prepare_csv_xlsx_vectordb.py
相关推荐
大猫子的技术日记7 分钟前
从DALL·E到Seedream:AI文生图技术全景速览与实战指南
人工智能
无bug代码搬运工7 分钟前
文献阅读:Class-incremental Learning for Time Series:Benchmark and Evaluation
人工智能·深度学习·transformer
乾元9 分钟前
智能化侦察:利用 LLM 进行自动化资产暴露面识别与关联
运维·网络·人工智能·网络协议·安全·自动化
lbb 小魔仙9 分钟前
AI工具与编程实践:重塑研发效率的双重引擎AI双擎驱动:工具与编程重构研发全流程的实战指南
人工智能·重构
行业探路者13 分钟前
如何利用二维码提升富媒体展示的效果?
大数据·人工智能·学习·产品运营·软件工程
智航GIS13 分钟前
11.13 Pandas进阶:掌握多级分组与高级聚合,解锁数据分析新维度
数据挖掘·数据分析·pandas
爱打代码的小林15 分钟前
opencv(边缘检测)
人工智能·opencv·计算机视觉
lizhenning8715 分钟前
语言模型与动词知识库协同创新
人工智能·语言模型·自然语言处理
明月照山海-16 分钟前
机器学习周报三十一
人工智能·机器学习
木头程序员18 分钟前
算摄像学的“算法-传感器”协同设计:重新定义光学极限
人工智能·数码相机·硬件工程