从CRUD到LLM Engineering：一个后端工程师的AI转型技术栈梳理

最近在脉脉、V2EX上看到大量讨论：工作3--5年的后端/前端，想转大模型方向，不知道从哪里下手。结合这几年在凡云教育带AI转行班、做企业内训的经验，本文把"程序员转AI"这件事彻底拆开，给出可执行的技术栈、学习顺序和项目清单。

本文不讨论预训练基座模型，也不讨论顶会算法研究------那是另一群人的赛道。

本文聚焦：LLM应用工程师 / AI Agent开发工程师，这是2026年招聘市场体量最大、对程序员最友好的方向。

一、技能全景图

复制代码

┌─────────────────────────────────────────┐
│  LLM Engineering 技能栈                 │
├─────────────────────────────────────────┤
│  基础层：Python / Linux / Docker        │
│  数据层：Numpy / Pandas / 向量数据库    │
│  模型层：Transformer / Tokenizer / 推理参数 │
│  应用层：Prompt / Function Call          │
│  RAG层：Chunking / Embedding / Rerank   │
│  Agent层：LangGraph / MCP / Multi-Agent │
│  微调层：PEFT / LoRA / QLoRA            │
│  部署层：vLLM / Ollama / FastAPI        │
│  评估层：RAGAS / LangSmith / Phoenix    │
└─────────────────────────────────────────┘

二、分阶段学习路线

Stage 1｜基础强化（2--4周）

有编程基础的人不要从零学Python，重点补：

类型注解、dataclass、pydantic
异步编程：asyncio、aiohttp
工程化：pytest、ruff、poetry/uv
FastAPI：能写一个带流式响应的接口

python 复制代码

# 一个最小的LLM流式接口
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI

app = FastAPI()
client = AsyncOpenAI(base_url="https://api.deepseek.com")

@app.get("/chat")
async def chat(q: str):
    async def gen():
        stream = await client.chat.completions.create(
            model="deepseek-chat",
            messages=[{"role":"user","content":q}],
            stream=True,
        )
        async for chunk in stream:
            if chunk.choices[0].delta.content:
                yield chunk.choices[0].delta.content
    return StreamingResponse(gen())

Stage 2｜大模型原理速通（3周）

不用手推反向传播，重点理解：

Self-Attention 的Q/K/V在干嘛
Token / BPE / 上下文窗口 / KV Cache
温度、Top-p、重复惩罚的工程含义
主流开源模型差异：Qwen2.5、DeepSeek-V3、Llama3、GLM

Stage 3｜RAG全链路（6--8周，核心）

这部分是面试重灾区，按下面顺序逐个击破：

文档加载：PyPDF、Unstructured、LlamaParse；注意表格和扫描件
切分策略 ：
- 固定长度切分（最简，效果差）
- 递归字符切分（RecursiveCharacterTextSplitter）
- 语义切分（SemanticChunker）
- 父子切分（Small-to-Big Retrieval）
Embedding：中文优先BGE-M3、bge-large-zh；多语言考虑OpenAI text-embedding-3
向量库选型 ：
- 本地Demo：ChromaDB、FAISS
- 生产小规模：pgvector
- 大规模分布式：Milvus、Qdrant
检索优化 ：
- Hybrid Search（BM25 + 向量）
- Query改写 / HyDE
- Reranker：bge-reranker-v2-m3、Cohere Rerank
评估：RAGAS四指标
- faithfulness（忠实度）
- answer_relevancy（答案相关性）
- context_precision（上下文精度）
- context_recall（上下文召回）

Stage 4｜Agent开发（6--8周，核心）

LangChain ：理解Runnable抽象、LCEL表达式
LangGraph：有状态图工作流，支持循环、中断、人机协同
Function Calling：模型如何决定调用哪个工具
MCP协议：2025--2026年Anthropic主推的工具接入标准，必须掌握
多智能体：Supervisor模式、Hierarchical模式
低代码平台：Coze、Dify、扣子------企业真实落地最爱用

一个最小的Agent工具调用示例：

python 复制代码

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent

@tool
def query_db(sql: str) -> str:
    """执行只读SQL查询业务库"""
    # ... 真实查询逻辑
    return "..."

agent = create_react_agent(
    model="qwen-plus",
    tools=[query_db],
)

Stage 5｜微调与部署（4周）

微调策略选择 ：
- 99%场景用LoRA/QLoRA
- 全参数微调 = 除非你是头部大模型团队
工具链：PEFT、LLaMA-Factory、unsloth
部署：
- 本地：Ollama
- 生产：vLLM（PagedAttention，吞吐高）
- 服务包装：FastAPI + 流式SSE
可观测：LangSmith、Langfuse、Phoenix

三、简历项目清单（至少做2个）

项目1：企业知识库RAG问答系统

数据：500+份企业文档（PDF/Word/HTML）
技术栈：LlamaIndex + BGE-M3 + Milvus + bge-reranker-v2-m3 + RAGAS
亮点：带引用来源、带评估报告、召回率可量化

项目2：业务流程自动化Agent

场景：自动查数据库 + 写日报 + 发送到企微
技术栈：LangGraph + MCP + Function Calling + 多工具协作
亮点：有状态、可中断、支持人工审批节点

四、四个真实的坑

Chunking随便切切就完事：实际面试必问切分策略和为什么。
不上Reranker：裸向量检索在企业文档上效果通常只有60--70分，加Reranker能上90分。
不做评估：没有RAGAS指标，你的RAG就是玄学。
微调贪大：想一上来微调70B模型，单卡都跑不动；先用7B/14B小模型把流程跑通。

五、关于系统化学习

自学路径长、坑点密，尤其是RAG和Agent的工程细节，没有真实项目对照很容易自嗨。

凡云教育（蜗牛学苑旗下高端AI教育品牌）的AI课程已迭代到4.0版本，采用PBET项目驱动，从Python到大模型原理、RAG、Agent、LoRA微调、vLLM部署全链路覆盖，技术栈与本文完全对齐。讲师团队50余人，平均从业10年以上，是人社部人工智能训练师职业技能等级证书培训合作单位，已服务中原银行、平安科技、浪潮软件等多家企业内训。

六、结语

LLM Engineering本质上是软件工程在新时代的延展。你的并发经验、调试能力、系统设计直觉，在AI时代不但不过时，反而会被放大。

选对路线、动手做项目、用指标说话------6个月上岸，是完全可行的。