使用 Python + SQLAlchemy 创建知识库数据库（SQLite）—— 构建本地知识库系统的基础《一》

要努力啊啊啊2025-06-08 8:41

📚 使用 Python + SQLAlchemy 创建知识库数据库（SQLite）------ 构建本地知识库系统的基础

🧠 一、前言

随着大模型技术的发展，越来越多的项目需要构建本地知识库系统来支持 RAG（Retrieval-Augmented Generation）、Agent 记忆管理、文档检索等功能。

本文将介绍如何使用 Python + SQLAlchemy 搭建一个结构清晰、可扩展性强的知识库数据库，适用于 AI 助手、智能问答系统等场景。

🗂️ 二、项目目标

我们希望创建一个 SQLite 数据库，包含以下四张核心表：

表名 描述
knowledge_base 存储知识库基本信息（名称、简介、向量库类型、嵌入模型等）
knowledge_file 存储每个知识库中的文件信息（文件名、大小、修改时间、切分情况等）
file_doc 存储文件切片后的文档片段 ID 及其元数据
summary_chunk 存储文档摘要与对应的文档 ID 列表

这些表构成了一个完整的知识库管理系统的基础架构，可用于后续的文档加载、向量化、检索和更新操作。

🔧 三、环境依赖

  • Python 3.12+
  • SQLAlchemy
  • sqlite3（Python 自带）

安装命令如下：

bash 复制代码 
pip install sqlalchemy

🗃️ 四、数据库配置与初始化

我们使用 SQLite 作为本地存储方式，路径如下：

python 复制代码 
DB_PATH = "/Volumes/PSSD/未命名文件夹/donwload/创建知识库数据库/knowledge_base/info.db"
SQLALCHEMY_DATABASE_URI = f"sqlite:///{DB_PATH}"

通过 SQLAlchemy 的 create_engine 和 sessionmaker 初始化数据库连接池。

python 复制代码 
engine = create_engine(
    SQLALCHEMY_DATABASE_URI,
    json_serializer=lambda obj: json.dumps(obj, ensure_ascii=False),
)
SessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine)
Base: DeclarativeMeta = declarative_base()

📐 五、ORM 模型定义详解

1. KnowledgeBaseModel ------ 知识库基础信息表

字段 类型 默认值 描述
id Integer - 主键
kb_name String(50) - 知识库名称
kb_info String(200) - 知识库简介
vs_type String(50) - 向量库类型（如 FAISS、Chroma）
embed_model String(50) - 嵌入模型名称
file_count Integer 0 文件数量
create_time DateTime func.now() 创建时间

2. KnowledgeFileModel ------ 知识库文件信息表

字段 类型 默认值 描述
id Integer - 主键
file_name String(255) - 文件名
file_ext String(10) - 扩展名
kb_name String(50) - 所属知识库
document_loader_name String(50) - 文档加载器名称
text_splitter_name String(50) - 文本分割器名称
file_version Integer 1 文件版本
file_mtime Float 0.0 最后修改时间
file_size Integer 0 文件大小
custom_docs Boolean False 是否自定义 docs
docs_count Integer 0 切分文档数
create_time DateTime func.now() 创建时间

3. FileDocModel ------ 文件切片文档表

字段 类型 默认值 描述
id Integer - 主键
kb_name String(50) - 知识库名称
file_name String(255) - 文件名
doc_id String(50) - 向量库文档 ID
meta_data JSON {} 元数据（如来源、页码等）

该表用于记录每个文件被切分后的每一个 chunk 对应的向量 ID。

4. SummaryChunkModel ------ 文档摘要与关联表

字段 类型 默认值 描述
id Integer - 主键
kb_name String(50) - 知识库名称
summary_context String(255) - 总结文本
summary_id String(255) - 总结内容在向量库中的 ID
doc_ids String(1024) - 关联的 doc_id 列表
meta_data JSON {} 元数据信息

用于存储文档的总结信息，并与原始 chunk 进行关联。

🧱 六、表操作函数

我们提供了两个主要函数用于管理数据库表：

✅ 1. 创建所有表

python 复制代码 
def create_tables():
    print("📌 正在创建所有表...")
    Base.metadata.create_all(bind=engine)
    print("✅ 表创建完毕")

⚠️ 2. 清空并重建所有表

python 复制代码 
def reset_tables():
    Base.metadata.drop_all(bind=engine)
    Base.metadata.create_all(bind=engine)
    print("⚠️ 数据库表已清空并重新创建")

这两个函数非常适合在初始化或调试阶段使用。

📝 七、命令行执行方式

你可以通过命令行参数控制数据库行为：

bash 复制代码 
# 创建数据库表
python 创建表.py --create-tables

# 清空并重建数据库表
python 创建表.py --clear-tables

输出示例：

复制代码 
📦 执行参数:
  create_tables: True
  clear_tables: False
📌 正在创建所有表...
✅ 表创建完毕
✅ 执行完毕，耗时: 0:00:00.123456

💡 八、详细的完整代码

python 复制代码 
#!/usr/bin/env python
# coding=utf-8



"""

"""

import os
import json
import sys
import argparse
from datetime import datetime
from sqlalchemy import Column, Integer, String, DateTime, Float, Boolean, JSON, func, create_engine
from sqlalchemy.ext.declarative import declarative_base, DeclarativeMeta
from sqlalchemy.orm import sessionmaker

# ======== 数据库路径配置 ========

SQLALCHEMY_DATABASE_URI = f"sqlite:///{DB_PATH}"

# ======== SQLAlchemy 初始化 ========
engine = create_engine(
    SQLALCHEMY_DATABASE_URI,
    json_serializer=lambda obj: json.dumps(obj, ensure_ascii=False),
)
SessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine)
Base: DeclarativeMeta = declarative_base()

# ======== ORM 模型定义 ========

class KnowledgeBaseModel(Base):
    __tablename__ = 'knowledge_base'
    id = Column(Integer, primary_key=True, autoincrement=True, comment='知识库ID')
    kb_name = Column(String(50), comment='知识库名称')
    kb_info = Column(String(200), comment='知识库简介(用于Agent)')
    vs_type = Column(String(50), comment='向量库类型')
    embed_model = Column(String(50), comment='嵌入模型名称')
    file_count = Column(Integer, default=0, comment='文件数量')
    create_time = Column(DateTime, default=func.now(), comment='创建时间')


class KnowledgeFileModel(Base):
    __tablename__ = 'knowledge_file'
    id = Column(Integer, primary_key=True, autoincrement=True, comment='知识文件ID')
    file_name = Column(String(255), comment='文件名')
    file_ext = Column(String(10), comment='文件扩展名')
    kb_name = Column(String(50), comment='所属知识库名称')
    document_loader_name = Column(String(50), comment='文档加载器名称')
    text_splitter_name = Column(String(50), comment='文本分割器名称')
    file_version = Column(Integer, default=1, comment='文件版本')
    file_mtime = Column(Float, default=0.0, comment="文件修改时间")
    file_size = Column(Integer, default=0, comment="文件大小")
    custom_docs = Column(Boolean, default=False, comment="是否自定义docs")
    docs_count = Column(Integer, default=0, comment="切分文档数量")
    create_time = Column(DateTime, default=func.now(), comment='创建时间')


class FileDocModel(Base):
    __tablename__ = 'file_doc'
    id = Column(Integer, primary_key=True, autoincrement=True, comment='ID')
    kb_name = Column(String(50), comment='知识库名称')
    file_name = Column(String(255), comment='文件名称')
    doc_id = Column(String(50), comment="向量库文档ID")
    meta_data = Column(JSON, default={})


class SummaryChunkModel(Base):
    __tablename__ = 'summary_chunk'
    id = Column(Integer, primary_key=True, autoincrement=True, comment='ID')
    kb_name = Column(String(50), comment='知识库名称')
    summary_context = Column(String(255), comment='总结文本')
    summary_id = Column(String(255), comment='总结矢量id')
    doc_ids = Column(String(1024), comment="向量库id关联列表")
    meta_data = Column(JSON, default={})


# ======== 表操作函数 ========
def create_tables():
    print("📌 正在创建所有表...")
    Base.metadata.create_all(bind=engine)
    print("✅ 表创建完毕")

def reset_tables():
    Base.metadata.drop_all(bind=engine)
    Base.metadata.create_all(bind=engine)
    print("⚠️ 数据库表已清空并重新创建")

# ======== 命令行入口 ========
if __name__ == "__main__":
    parser = argparse.ArgumentParser(description="初始化知识库数据库")

    parser.add_argument(
        "--create-tables",
        action="store_true",
        help="创建数据库表"
    )

    parser.add_argument(
        "--clear-tables",
        action="store_true",
        help="清空并重建数据库表"
    )

    args = parser.parse_args()
    start_time = datetime.now()

    print("📦 执行参数:")
    for arg, value in vars(args).items():
        print(f"  {arg}: {value}")

    if args.create_tables:
        create_tables()

    if args.clear_tables:
        reset_tables()

    print(f"✅ 执行完毕，耗时: {datetime.now() - start_time}")
#python 创建表.py --create-tables
#python 创建表.py --clear-tables
相关推荐
M1A12 分钟前
Python数据结构操作：全面解析与实践
后端·python
Jamence3 分钟前
多模态大语言模型arxiv论文略读（110）
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
扑克中的黑桃A8 分钟前
Python-打印杨辉三角
python
chen.@-@11 分钟前
后端下载限速（redis记录实时并发，bucket4j动态限速）
数据库·redis·缓存
袁庭新19 分钟前
使用扣子+飞书+DeepSeek搭建批量提取公众号文章内容并改写的智能体
人工智能·aigc·coze
王小小鸭21 分钟前
【Oracle APEX开发小技巧12】
数据库·oracle
噼里啪啦啦.26 分钟前
Spring事务和事务传播机制
数据库·sql·spring
黑心萝卜三条杠33 分钟前
解码微生物适应性的关键：基因组序列与栖息地预测的深度关联
人工智能
搬码红绿灯33 分钟前
MySQL主从复制深度解析：原理、架构与实战部署指南
数据库·mysql·架构
呼拉拉呼拉35 分钟前
Redis高可用架构
数据库·redis·架构·高可用架构
热门推荐
01Coze扣子平台完整体验和实践（附国内和国际版对比）02KGG转MP3工具|非KGM文件|解密音频03YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】04【无人机】无人机通信模块，无人机图数传模块的介绍，数传，图传，图传数传一体电台，05从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑06【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！07海康Visionmaster-常见问题排查方法-启动阶段08DeepSeek各版本说明与优缺点分析09VMware虚拟机安装Win7专业版保姆级教程（附镜像包）10神经网络架构KAN确实具有一些独特的特点及底层原理和应用场景