使用 SQL 和表格数据进行问答和 RAG(1)—数据库准备

一. 从 .sql/csv/xlsx 文件创建 sqlite 数据库

  1. 要从.sql文件准备 SQL DB,这里会将创建数据库的代码放到了,将文件复制到data/sql目录中,然后在终端中的项目文件夹中执行:

    pip install sqlite3

  2. 现在创建一个名为sqldb的数据库:

    sqlite3 data/sqldb.db

注意:这里进入 SQLite 命令行后,就不需要再使用 sqlite3 命令

  1. 使用 .read 命令加载 SQL 文件:

    .read data/sql/<name of your sql database>.sql

比如:

复制代码
.read data/sql/Chinook_Sqlite.sql
  1. 执行 SQL 查询验证是否成功创建了数据库,直接输入 SQL 语句:

    SELECT * FROM <any Table name in your sql database> LIMIT 10;

比如:

复制代码
SELECT * FROM Artist LIMIT 10;

输出:

二. 从 CSV 和 XLSX 文件中准备 SQL 数据库,请先将文件复制到data/csv_xlsx中,并在终端中从项目文件夹中执行:

复制代码
python src/prepare_csv_xlsx_sqlitedb.py

此命令将在data目录中创建一个名为csv_xlsx_sqldb.db的 SQL 数据库。

三. 从 CSV 和 XLSX 文件准备 vectorDB,请将文件复制到data/for_upload中,并在终端中从项目文件夹中执行

复制代码
python src/prepare_csv_xlsx_vectordb.py
相关推荐
大佬,救命!!!8 分钟前
最新的python3.14版本下仿真环境配置深度学习机器学习相关
开发语言·人工智能·python·深度学习·机器学习·学习笔记·环境配置
工业机器视觉设计和实现13 分钟前
用caffe做个人脸识别
人工智能·深度学习·caffe
2***574223 分钟前
Java数据分析实战
java·python·数据分析
paperxie_xiexuo25 分钟前
从研究问题到分析初稿:深度解析PaperXie AI科研工具中数据分析模块在学术写作场景下的辅助逻辑与技术实现路径
人工智能·数据挖掘·数据分析
一水鉴天38 分钟前
整体设计 定稿 之9 拼语言工具设计之前 的 备忘录仪表盘(CodeBuddy)
人工智能·架构·公共逻辑
IT_陈寒1 小时前
Python性能提升50%:这5个隐藏技巧让你的代码快如闪电⚡
前端·人工智能·后端
AI大模型学徒2 小时前
NLP基础(九)_N-gram模型
人工智能·自然语言处理·nlp·n-gram
极客BIM工作室2 小时前
理清 BERT 中 [CLS] 向量的核心逻辑:训练双向更新与推理作用不矛盾
人工智能·机器学习·bert
IT·小灰灰2 小时前
基于Python的机器学习/数据分析环境搭建完全指南
开发语言·人工智能·python·算法·机器学习·数据分析