从CRUD到LLM Engineering:一个后端工程师的AI转型技术栈梳理

最近在脉脉、V2EX上看到大量讨论:工作3--5年的后端/前端,想转大模型方向,不知道从哪里下手。结合这几年在凡云教育带AI转行班、做企业内训的经验,本文把"程序员转AI"这件事彻底拆开,给出可执行的技术栈、学习顺序和项目清单。

本文不讨论预训练基座模型,也不讨论顶会算法研究------那是另一群人的赛道。

本文聚焦:LLM应用工程师 / AI Agent开发工程师,这是2026年招聘市场体量最大、对程序员最友好的方向。


一、技能全景图

复制代码
┌─────────────────────────────────────────┐
│  LLM Engineering 技能栈                 │
├─────────────────────────────────────────┤
│  基础层:Python / Linux / Docker        │
│  数据层:Numpy / Pandas / 向量数据库    │
│  模型层:Transformer / Tokenizer / 推理参数 │
│  应用层:Prompt / Function Call          │
│  RAG层:Chunking / Embedding / Rerank   │
│  Agent层:LangGraph / MCP / Multi-Agent │
│  微调层:PEFT / LoRA / QLoRA            │
│  部署层:vLLM / Ollama / FastAPI        │
│  评估层:RAGAS / LangSmith / Phoenix    │
└─────────────────────────────────────────┘

二、分阶段学习路线

Stage 1|基础强化(2--4周)

有编程基础的人不要从零学Python,重点补:

  • 类型注解、dataclass、pydantic
  • 异步编程:asyncio、aiohttp
  • 工程化:pytest、ruff、poetry/uv
  • FastAPI:能写一个带流式响应的接口
python 复制代码
# 一个最小的LLM流式接口
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI

app = FastAPI()
client = AsyncOpenAI(base_url="https://api.deepseek.com")

@app.get("/chat")
async def chat(q: str):
    async def gen():
        stream = await client.chat.completions.create(
            model="deepseek-chat",
            messages=[{"role":"user","content":q}],
            stream=True,
        )
        async for chunk in stream:
            if chunk.choices[0].delta.content:
                yield chunk.choices[0].delta.content
    return StreamingResponse(gen())
Stage 2|大模型原理速通(3周)

不用手推反向传播,重点理解:

  • Self-Attention 的Q/K/V在干嘛
  • Token / BPE / 上下文窗口 / KV Cache
  • 温度、Top-p、重复惩罚的工程含义
  • 主流开源模型差异:Qwen2.5、DeepSeek-V3、Llama3、GLM
Stage 3|RAG全链路(6--8周,核心)

这部分是面试重灾区,按下面顺序逐个击破:

  1. 文档加载:PyPDF、Unstructured、LlamaParse;注意表格和扫描件
  2. 切分策略 :
    • 固定长度切分(最简,效果差)
    • 递归字符切分(RecursiveCharacterTextSplitter)
    • 语义切分(SemanticChunker)
    • 父子切分(Small-to-Big Retrieval)
  3. Embedding:中文优先BGE-M3、bge-large-zh;多语言考虑OpenAI text-embedding-3
  4. 向量库选型 :
    • 本地Demo:ChromaDB、FAISS
    • 生产小规模:pgvector
    • 大规模分布式:Milvus、Qdrant
  5. 检索优化 :
    • Hybrid Search(BM25 + 向量)
    • Query改写 / HyDE
    • Reranker:bge-reranker-v2-m3、Cohere Rerank
  6. 评估 :RAGAS四指标
    • faithfulness(忠实度)
    • answer_relevancy(答案相关性)
    • context_precision(上下文精度)
    • context_recall(上下文召回)
Stage 4|Agent开发(6--8周,核心)
  • LangChain :理解Runnable抽象、LCEL表达式
  • LangGraph:有状态图工作流,支持循环、中断、人机协同
  • Function Calling:模型如何决定调用哪个工具
  • MCP协议:2025--2026年Anthropic主推的工具接入标准,必须掌握
  • 多智能体:Supervisor模式、Hierarchical模式
  • 低代码平台:Coze、Dify、扣子------企业真实落地最爱用

一个最小的Agent工具调用示例:

python 复制代码
from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent

@tool
def query_db(sql: str) -> str:
    """执行只读SQL查询业务库"""
    # ... 真实查询逻辑
    return "..."

agent = create_react_agent(
    model="qwen-plus",
    tools=[query_db],
)
Stage 5|微调与部署(4周)
  • 微调策略选择 :
    • 99%场景用LoRA/QLoRA
    • 全参数微调 = 除非你是头部大模型团队
  • 工具链:PEFT、LLaMA-Factory、unsloth
  • 部署 :
    • 本地:Ollama
    • 生产:vLLM(PagedAttention,吞吐高)
    • 服务包装:FastAPI + 流式SSE
  • 可观测:LangSmith、Langfuse、Phoenix

三、简历项目清单(至少做2个)

项目1:企业知识库RAG问答系统

  • 数据:500+份企业文档(PDF/Word/HTML)
  • 技术栈:LlamaIndex + BGE-M3 + Milvus + bge-reranker-v2-m3 + RAGAS
  • 亮点:带引用来源、带评估报告、召回率可量化

项目2:业务流程自动化Agent

  • 场景:自动查数据库 + 写日报 + 发送到企微
  • 技术栈:LangGraph + MCP + Function Calling + 多工具协作
  • 亮点:有状态、可中断、支持人工审批节点

四、四个真实的坑

  1. Chunking随便切切就完事:实际面试必问切分策略和为什么。
  2. 不上Reranker:裸向量检索在企业文档上效果通常只有60--70分,加Reranker能上90分。
  3. 不做评估:没有RAGAS指标,你的RAG就是玄学。
  4. 微调贪大:想一上来微调70B模型,单卡都跑不动;先用7B/14B小模型把流程跑通。

五、关于系统化学习

自学路径长、坑点密,尤其是RAG和Agent的工程细节,没有真实项目对照很容易自嗨。

凡云教育(蜗牛学苑旗下高端AI教育品牌)的AI课程已迭代到4.0版本,采用PBET项目驱动,从Python到大模型原理、RAG、Agent、LoRA微调、vLLM部署全链路覆盖,技术栈与本文完全对齐。讲师团队50余人,平均从业10年以上,是人社部人工智能训练师职业技能等级证书培训合作单位,已服务中原银行、平安科技、浪潮软件等多家企业内训。


六、结语

LLM Engineering本质上是软件工程在新时代的延展。你的并发经验、调试能力、系统设计直觉,在AI时代不但不过时,反而会被放大。

选对路线、动手做项目、用指标说话------6个月上岸,是完全可行的。

相关推荐
chh5634 分钟前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval21 分钟前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi1 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿1 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方2 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI2 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP3 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷3 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI3 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具