使用 SQL 和表格数据进行问答和 RAG(1)—数据库准备

一. 从 .sql/csv/xlsx 文件创建 sqlite 数据库

  1. 要从.sql文件准备 SQL DB,这里会将创建数据库的代码放到了,将文件复制到data/sql目录中,然后在终端中的项目文件夹中执行:

    pip install sqlite3

  2. 现在创建一个名为sqldb的数据库:

    sqlite3 data/sqldb.db

注意:这里进入 SQLite 命令行后,就不需要再使用 sqlite3 命令

  1. 使用 .read 命令加载 SQL 文件:

    .read data/sql/<name of your sql database>.sql

比如:

复制代码
.read data/sql/Chinook_Sqlite.sql
  1. 执行 SQL 查询验证是否成功创建了数据库,直接输入 SQL 语句:

    SELECT * FROM <any Table name in your sql database> LIMIT 10;

比如:

复制代码
SELECT * FROM Artist LIMIT 10;

输出:

二. 从 CSV 和 XLSX 文件中准备 SQL 数据库,请先将文件复制到data/csv_xlsx中,并在终端中从项目文件夹中执行:

复制代码
python src/prepare_csv_xlsx_sqlitedb.py

此命令将在data目录中创建一个名为csv_xlsx_sqldb.db的 SQL 数据库。

三. 从 CSV 和 XLSX 文件准备 vectorDB,请将文件复制到data/for_upload中,并在终端中从项目文件夹中执行

复制代码
python src/prepare_csv_xlsx_vectordb.py
相关推荐
声网4 分钟前
OpenAI SDK 上新 RealtimeAgent;OpenAudio S1 语音生成模型:语调情感标记,精确控制风格
人工智能
中科岩创14 分钟前
某校体育场馆结构自动化监测
大数据·人工智能·物联网·自动化
攻城狮7号30 分钟前
AI浪潮下的思辨:傅盛访谈之我见
人工智能·深度学习·agent
MaisieKim_39 分钟前
如何量化创新项目的成功标准
人工智能
Francek Chen1 小时前
【深度学习优化算法】02:凸性
人工智能·pytorch·深度学习·优化算法·凸函数
寻丶幽风1 小时前
论文阅读笔记——Large Language Models Are Zero-Shot Fuzzers
论文阅读·pytorch·笔记·深度学习·网络安全·语言模型
Eastmount1 小时前
[论文阅读] (38)基于大模型的威胁情报分析与知识图谱构建论文总结(读书笔记)
论文阅读·人工智能·大模型·知识图谱·威胁情报
智源研究院官方账号1 小时前
更强劲,更高效:智源研究院开源轻量级超长视频理解模型Video-XL-2
人工智能·开源
要努力啊啊啊2 小时前
GQA(Grouped Query Attention):分组注意力机制的原理与实践《一》
论文阅读·人工智能·深度学习·语言模型·自然语言处理
m0_748245172 小时前
KrillinAI:视频跨语言传播的一站式AI解决方案
人工智能·音视频