使用 SQL 和表格数据进行问答和 RAG(1)—数据库准备

一. 从 .sql/csv/xlsx 文件创建 sqlite 数据库

  1. 要从.sql文件准备 SQL DB,这里会将创建数据库的代码放到了,将文件复制到data/sql目录中,然后在终端中的项目文件夹中执行:

    pip install sqlite3

  2. 现在创建一个名为sqldb的数据库:

    sqlite3 data/sqldb.db

注意:这里进入 SQLite 命令行后,就不需要再使用 sqlite3 命令

  1. 使用 .read 命令加载 SQL 文件:

    .read data/sql/<name of your sql database>.sql

比如:

.read data/sql/Chinook_Sqlite.sql
  1. 执行 SQL 查询验证是否成功创建了数据库,直接输入 SQL 语句:

    SELECT * FROM <any Table name in your sql database> LIMIT 10;

比如:

SELECT * FROM Artist LIMIT 10;

输出:

二. 从 CSV 和 XLSX 文件中准备 SQL 数据库,请先将文件复制到data/csv_xlsx中,并在终端中从项目文件夹中执行:

python src/prepare_csv_xlsx_sqlitedb.py

此命令将在data目录中创建一个名为csv_xlsx_sqldb.db的 SQL 数据库。

三. 从 CSV 和 XLSX 文件准备 vectorDB,请将文件复制到data/for_upload中,并在终端中从项目文件夹中执行

python src/prepare_csv_xlsx_vectordb.py
相关推荐
IT猿手17 分钟前
超多目标优化:基于导航变量的多目标粒子群优化算法(NMOPSO)的无人机三维路径规划,MATLAB代码
人工智能·算法·机器学习·matlab·无人机
Java知识技术分享23 分钟前
使用LangChain构建第一个ReAct Agent
python·react.js·ai·语言模型·langchain
JolyouLu27 分钟前
PyTorch-基础(CUDA、Dataset、transforms、卷积神经网络、VGG16)
人工智能·pytorch·cnn
CS_木成河31 分钟前
【深度学习】预训练和微调概述
人工智能·深度学习·语言模型·微调·预训练
新加坡内哥谈技术39 分钟前
微软发布Majorana 1芯片,开启量子计算新路径
人工智能·深度学习·语言模型·自然语言处理
真智AI1 小时前
使用 DistilBERT 进行资源高效的自然语言处理
人工智能·自然语言处理
OpenBuild.xyz1 小时前
我是如何从 0 到 1 找到 Web3 工作的?
人工智能·web3·去中心化·区块链·智能合约
Sui_Network1 小时前
Sui 如何支持各种类型的 Web3 游戏
大数据·数据库·人工智能·游戏·web3·区块链
ZKNOW甄知科技2 小时前
IT服务运营管理体系的常用方法论与实践指南(上)
大数据·数据库·人工智能
Luke Ewin2 小时前
根据音频中的不同讲述人声音进行分离音频 | 基于ai的说话人声音分离项目
人工智能·python·音视频·语音识别·声纹识别·asr·3d-speaker