30分钟打造本地AI问答系统

AI应用实战：从零搭建一个本地智能问答系统

用开源模型和Python，告别API依赖，打造属于你自己的AI助手

为什么还要写"本地AI"？

在ChatGPT、Claude等云端AI大行其道的今天，我们为什么还要折腾本地部署？

• 数据隐私：敏感文档无需上传至第三方服务器
• 离线可用：内网环境或无网络时依然工作
• 成本可控：无按Token计费，长期使用更经济
• 定制灵活：可自由微调、集成专属知识库

本教程将带你30分钟内 ，在普通笔记本电脑上跑通一个具备文档问答能力的本地AI系统。

---

技术选型

组件	选择	理由
基础模型	Qwen2.5-7B-Instruct (GGUF量化版)	中文能力强，显存仅需6GB
推理框架	Llama.cpp	CPU/GPU混合推理，配置友好
向量数据库	ChromaDB	轻量级，嵌入式，无需单独部署
嵌入模型	BAAI/bge-small-zh-v1.5	中文语义检索效果优秀
前端界面	Streamlit	Python快速构建交互界面

硬件要求：最低8GB RAM + 4GB VRAM（或支持AVX2的CPU）

---

实战步骤

1. 环境准备

# 创建虚拟环境
python -m venv ai_local_env
source ai_local_env/bin/activate  # Linux/Mac
# ai_local_env\Scripts\activate   # Windows

# 安装核心依赖
pip install llama-cpp-python chromadb streamlit sentence-transformers

2.下载核心文件

# 下载Qwen2.5-7B GGUF量化版 (约4.5GB)
wget https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-GGUF/resolve/main/qwen2.5-7b-instruct-q4_k_m.gguf

# 下载嵌入模型 (会自动从HuggingFace加载)
# 无需手动下载，代码中会调用

3.构建核心引擎

创建 rag_engine.py，实现文档加载、分块、向量存储和检索问答