【从零到RAG】用Python实现本地AI问答系统（Transformer + FAISS + HuggingFace）In this line of code, minValueIndex is a variable that is assigned the return value of self. searchMin (nums, target). Here, self refers to the instance of the current class, and searchMin is a method of that instance. This method takes two parameters: nums and target.
1.Built a local conversational AI assistant with context memory and retrieval-augmented generation (RAG) using Hugging Face Transformers
🚀 从零实现本地 RAG 系统：Transformer → HuggingFace → 向量检索（完整实战）
📌 一、背景
今天我从 Transformer 基础 出发，逐步完成了一个完整的：
💥 本地 RAG（Retrieval-Augmented Generation）问答系统
整个过程从：
-
手写 Mini Transformer
-
到 Hugging Face 调用大模型
-
再到 FAISS 向量检索
最终实现了：
✅ 基于自定义知识库的智能问答系统（本地运行）
🧠 二、核心知识梳理
1️⃣ Transformer 基础
Transformer 的核心是：
-
Self-Attention（自注意力）
-
Feed Forward Network
-
多层堆叠
在 GPT 类模型中：
❗ 使用 Masked Self-Attention
作用：
👉 防止模型"看到未来"，保证自回归生成
2️⃣ GPT vs BERT（关键区别）
| 模型 | 类型 | 能力 |
|---|---|---|
| GPT | Decoder-only | 生成 |
| BERT | Encoder-only | 理解 |
👉 后面做 RAG：
-
BERT → 做 embedding
-
GPT → 做生成
3️⃣ LLM 的本质
Prompt → Transformer → Next Token → Next Token...👉 所有大模型本质都是：
💥 预测下一个词
🚀 三、从 HuggingFace 开始（真实模型）
我先用：
from transformers import AutoTokenizer, AutoModelForCausalLM加载模型：
model = AutoModelForCausalLM.from_pretrained("microsoft/phi-2")实现：
👉 本地文本生成 / 简单聊天
⚠️ 遇到的问题
❌ GPT2 复读问题
原因：
-
GPT2 是"续写模型"
-
不适合问答格式
解决：
Question:
Answer:或者直接换模型（phi）
🧠 四、RAG 核心思想
传统 LLM：
用户问题 → 模型回答（可能胡说）RAG：
用户问题 → 检索知识 → 再回答👉 核心流程：
Query → Embedding → Vector Search → Context → LLM🔥 五、实现步骤（重点）
1️⃣ 文本 → 向量（Embedding）
使用：
pip install sentence-transformers代码：
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
embeddings = model.encode([
"Machine learning is a field of AI.",
"Transformers use self-attention."
])2️⃣ FAISS 向量检索
pip install faiss-cpu
import faiss
import numpy as np
index = faiss.IndexFlatL2(384)
index.add(np.array(embeddings))
query_vec = model.encode(["What is transformer?"])
D, I = index.search(np.array(query_vec), 2)3️⃣ 构建 RAG 系统
核心逻辑：
docs = retrieve(query)
prompt = f"""
Context:
{docs}
Question: {query}
Answer:
"""4️⃣ 长文本处理（关键升级）
问题：
👉 文档太长，embedding效果差
解决：
👉 chunking（切块）
def chunk_text(text, chunk_size=300, overlap=50):
...💥 六、最终系统结构
用户问题
↓
Embedding（BERT类）
↓
FAISS 检索
↓
拼接上下文
↓
LLM（phi-2）
↓
回答🧪 七、效果展示
输入：
What is FAISS?输出：
FAISS is a library for efficient similarity search.输入：
What is the difference between BERT and GPT?输出：
BERT is an encoder-only model, GPT is decoder-only.🧠 八、关键收获
今天最大的收获不是代码，而是理解：
💥 1. LLM 不等于智能
没有知识 → 会胡说💥 2. RAG 才是落地关键
检索 + 生成 = 可控 AI💥 3. Transformer 三大体系
Encoder（理解）→ BERT
Decoder（生成）→ GPT
Encoder-Decoder → T5🚀 九、下一步计划
-
支持 PDF 文档读取
-
加入多轮对话 memory
-
使用更强 embedding（bge-large）
-
接入向量数据库（Chroma / Pinecone）
🎯 总结
今天从：
Transformer 理论
→ HuggingFace 模型
→ 向量检索
→ RAG系统完成了一条完整链路。
👉 从"学 AI"迈向"做 AI 系统"。
🔥 一句话总结
💥 RAG = 让大模型"有依据地说话"