收藏!13大模块、900+资源,全网最全LLM学习路线!

原文:https://mp.weixin.qq.com/s/5YNt7jli8LRv6-EYq0SULw

关于本项目

https://github.com/dora-wang-x/llm-learning-roadmap

复制代码
llm-learning-roadmap/
├── README.md                   # 总览与路线图(本文件)
├── CONTRIBUTING.md             # 贡献规范
├── 01-fundamentals/             # 基础理论与核心原理
├── 02-data-engineering/         # 数据工程
├── 03-pretraining/              # 预训练与基座模型
├── 04-alignment/                # 微调、对齐与强化学习
├── 05-inference-deployment/     # 推理加速与工程部署
├── 06-llm-evaluation/          # 模型评估
├── 07-safety-ethics/           # 安全与伦理
├── 08-applications/             # 应用开发
│   ├── 8.1-prompt/              #   提示词工程
│   ├── 8.2-rag/                 #   检索增强生成
│   ├── 8.3-agents-skills-mcp/   #   Agent、Skill 与 MCP
│   ├── 8.4-ai-coding/           #   AI 编程
│   ├── 8.5-deepresearch/        #   Deep Research 深度研究
│   └── 8.6-Maas/                #   MaaS 模型即服务
└── 09-resources/                # 综合资源(面试 / 论文 / 博客 / 相似项目)

llm-learning-roadmap 旨在建立一套符合 "底层原理 ➔ 数据工程 ➔ 预训练 ➔ 微调 / 对齐 ➔ 推理部署 ➔ 评估 / 安全 ➔ 应用落地" 工程逻辑的大模型知识图谱与资源索引库。

无论你是刚入行 AI 的开发者、高校研究者,还是寻求落地实践的企业架构师,都可以沿着本项目梳理的路径,系统性地建立大模型知识体系。

项目亮点

  • 覆盖完整 :13 个主题章节、900+ 条精选资源,从理论到生产全链路打通。
  • 工程导向:按真实研发流程组织目录,而非按论文分类堆砌。
  • 中英并重:兼顾国际前沿(论文 / 官方博客)与中文社区优质内容。
  • 持续维护:每章配有独立 README,可逐章增量更新而不破坏整体结构。

目录

    1. LLM 基础理论与核心原理 (Fundamentals)
    1. 数据工程 (Data Engineering)
    1. 预训练与基座模型 (Pre-training & Base Models)
    1. 微调、对齐与强化学习 (Fine-tuning & Alignment)
    1. 推理加速与工程部署 (Inference & Deployment)
    1. 模型评估 (LLM Evaluation)
    1. 安全与伦理 (Safety & Ethics)
    1. 应用开发 (Applications)
    • 8.1 提示词工程 (Prompt Engineering)
    • 8.2 检索增强生成 (RAG)
    • 8.3 Agent、Skill 与 MCP
    • 8.4 AI 编程 (AI Coding)
    • 8.5 Deep Research 深度研究
    • 8.6 MaaS 模型即服务
    1. 综合资源 (Resources)
  • 开源协议 (License)

1. LLM 基础理论与核心原理 (Fundamentals)

从经典 Transformer 到现代 LLM 架构演进的理论基石。

从深度学习与 NLP 前置基础出发,梳理 LLM 核心架构、从零训练与后训练实践,并延伸到工程与应用开发入门。详见 01-fundamentals/README.md。

  • 前置基础:深度学习、NLP 与 Transformer
  • LLM 核心原理与模型架构
  • 从零训练与后训练实践
  • LLM 工程与应用开发基础
  • 扩展主题与持续学习资源

2. 数据工程 (Data Engineering)

"Data is all you need" ------ 决定模型上限的生命线。

覆盖从数据发现、清洗去重、转换标注到质量评估与数据治理的完整流水线,含指令 / 偏好数据与合成数据方向。详见 02-data-engineering/README.md。

  • 数据发现与采集
  • 清洗、去重与过滤
  • 转换、标注与格式化
  • 质量评估与数据混合
  • 指令、偏好与人工反馈数据
  • 合成数据与数据扩增
  • 数据管道、DataOps 与治理

3. 预训练与基座模型 (Pre-training & Base Models)

从 Scaling Laws 到大规模分布式训练的基座模型构建。

围绕预训练原理、模型实现、分布式并行、训练效率优化与语料工程展开,并跟踪前沿进展。详见 03-pretraining/README.md。

  • 预训练原理与 Scaling
  • 模型实现与单机实验
  • 大规模分布式训练
  • 训练效率与工程优化
  • 语料获取与清洗
  • 数据质量、检查与标注

4. 微调、对齐与强化学习 (Fine-tuning & Alignment)

让基座模型"听话"的关键阶段。

梳理对齐原理综述、SFT 指令微调、RLHF / 偏好优化、安全对齐与前沿方向,含训练框架与工程实践。详见 04-alignment/README.md。

  • 对齐原理与综述
  • SFT 与指令微调
  • RLHF、RLAIF 与偏好优化(PPO / DPO / ORPO / SimPO / KTO)
  • 安全对齐
  • 前沿方向
  • 训练框架与工程实践

5. 推理加速与工程部署 (Inference & Deployment)

从模型权重到生产服务的最后一公里。

覆盖推理引擎与运行时、性能优化、服务化部署、本地轻量化推理与 LLMOps,含博客教程与工程实践。详见 05-inference-deployment/README.md。

  • 推理引擎与运行时
  • 推理性能优化
  • 服务化与部署架构
  • 本地、边缘与轻量化推理
  • LLMOps、资源索引与工程实践
  • 博客教程与工程实践

6. 模型评估 (LLM Evaluation)

没有度量就没有改进。

从评测原理综述到框架工具、公开基准、LLM-as-Judge、应用与安全评测、官方云评测服务,系统建立评测知识全景。详见 06-llm-evaluation/README.md。

  • 评测原理与综述
  • 评测框架与工具
  • 排行榜与公开基准
  • LLM-as-Judge 与自动评测
  • 应用与安全评测
  • 官方平台与云评测服务
  • 学习资源与社区导航

7. 安全与伦理 (Safety & Ethics)

负责任地构建与使用大模型。

本项目体量最大的章节之一,从 Awesome 清单到对齐、越狱攻防、护栏防护、应用安全、多模态安全、伦理与治理、厂商政策、学术跟踪到社区门户,13 个子方向全景覆盖。详见 07-safety-ethics/README.md。

  • AI 安全综合资源汇总(Awesome 清单)
  • 安全对齐与价值观(Alignment)
  • 越狱攻防与红队测试(Jailbreak & Red Teaming)
  • 安全护栏与防护工具(Guardrails & Defense)
  • LLM 应用安全与威胁情报(OWASP / MITRE / LLMSecOps)
  • 多模态安全(MLLM / LVLM Safety)
  • 安全评估与基准、伦理与负责任 AI、厂商政策、学术论文、课程、机构与社区

8. 应用开发 (Applications)

把模型能力转化为真实产品。

本章按应用范式拆分为 6 个子主题,从提示词、RAG、Agent 到 AI 编程、深度研究与 MaaS,覆盖从交互层到服务层的完整应用栈。各子目录均配有独立 README。

8.1 提示词工程 (Prompt Engineering)

从 Prompt 延伸到 Context、Harness 与 Loop Engineering,覆盖提示设计、上下文管理、工具编排与循环优化的完整工程链。详见 08-applications/8.1-prompt/README.md。

  • Prompt Engineer / Context Engineer / Harness Engineer / Loop Engineer

8.2 检索增强生成 (RAG)

从基础实践到高级方法、文档解析、知识库构建与生产级系统,含研究论文与资源导航。详见 08-applications/8.2-rag/README.md。

  • RAG 基础与入门实践 / 标准 RAG 应用开发 / 高级 RAG 方法(GraphRAG、CRAG 等)
  • 文档解析与知识库构建 / 生产级 RAG 系统 / RAG 研究论文

8.3 Agent、Skill 与 MCP

本项目最大子章节,覆盖 Agent 范式与多智能体、Skill 技能体系与 MCP(模型上下文协议)工具生态。详见 08-applications/8.3-agents-skills-mcp/README.md。

  • Agent:ReAct、Plan-and-Solve、Memory 机制、多智能体框架(AutoGen / CrewAI / MetaGPT 等)
  • Skill:技能定义、封装与复用生态
  • MCP:模型上下文协议、工具集成与市场

8.4 AI 编程 (AI Coding)

从需求规格、编码协作、Skill / 插件集成到代码理解与知识图谱,含学习路径索引。详见 08-applications/8.4-ai-coding/README.md。

  • 需求、规格与规划 / 编码协作与代码交付 / Skill、插件与工具集成 / 代码理解、检索与知识图谱 / 学习路径与资源索引

8.5 Deep Research 深度研究

按技术架构梳理开源深度研究框架,含 LangGraph 状态机系、RAG 向量检索系、轻量复刻系与相邻方向。详见 08-applications/8.5-deepresearch/README.md。

  • LangGraph 状态机系 / RAG + 向量检索系 / 轻量级实现 / 复刻系 / 泛 AI 应用 / 相邻方向

8.6 MaaS 模型即服务

聚焦 LLM 网关与模型聚合平台、企业级 AI 应用平台。详见 08-applications/8.6-Maas/README.md。

  • API 网关与模型聚合 / 企业级 AI 应用平台

9. 综合资源 (Resources)

跨章节的横向资源集合,含面试、论文、博客与同类项目四个清单,适合系统性补强与横向对照。

清单 说明 条目概览
llm-interview.md LLM / AI 面试资源 90 条,按平台分 12 类(题库、Agent、课程、官方博客、中文社区等)
paper-list.md LLM 经典与前沿论文 按主题分 10 类(综述、Agent、推理、训练、RAG、高效系统、评测安全、多模态等)
blog-list.md 优质博客与站点 牛人博客、官方工程博客、中文社区、深度研究站点 4 章
similar-projects.md 同类 / 可参考开源项目 55 个独立项目,按形态分 9 类(Awesome 列表、课程、路线图、从零复现等)

目录结构 (Project Structure)

复制代码
llm-learning-roadmap/
├── README.md                   # 总览与路线图(本文件)
├── CONTRIBUTING.md             # 贡献规范
├── 01-fundamentals/             # 基础理论与核心原理
├── 02-data-engineering/         # 数据工程
├── 03-pretraining/              # 预训练与基座模型
├── 04-alignment/                # 微调、对齐与强化学习
├── 05-inference-deployment/     # 推理加速与工程部署
├── 06-llm-evaluation/          # 模型评估
├── 07-safety-ethics/           # 安全与伦理
├── 08-applications/             # 应用开发
│   ├── 8.1-prompt/              #   提示词工程
│   ├── 8.2-rag/                 #   检索增强生成
│   ├── 8.3-agents-skills-mcp/   #   Agent、Skill 与 MCP
│   ├── 8.4-ai-coding/           #   AI 编程
│   ├── 8.5-deepresearch/        #   Deep Research 深度研究
│   └── 8.6-Maas/                #   MaaS 模型即服务
└── 09-resources/                # 综合资源(面试 / 论文 / 博客 / 相似项目)

开源协议 (License)

本项目采用 MIT License 许可证开源。所收录的第三方资源版权归原作者所有,本仓库仅做索引与导航。

相关推荐
专注仿真10 天前
知识问答模型用到的算法集详解及代码实例
python·算法·代码·大模型训练·控制算法
专注仿真19 天前
卷积神经网络(CNN)算法详解
人工智能·python·算法·代码·大模型训练
专注仿真21 天前
梯度提升类(XFBoost)算法详解与代码实例
开发语言·人工智能·python·算法·大模型训练·控制算法
专注仿真22 天前
线性回归和逻辑回归算法详解
开发语言·人工智能·python·大模型训练·控制算法
专注仿真24 天前
动态规划算法详解
人工智能·python·大模型训练·控制算法
专注仿真25 天前
Agentic RAG算法详解
人工智能·python·大模型训练·控制算法
AI-Frontiers1 个月前
vllm企业私有化大模型部署实战指南
大模型训练
论文复现现场2 个月前
Qwen3.8-27B 做 GRPO 需要几张 GPU?4×RTX 4090 与 8×RTX 4090 显存、vLLM 和 ZeRO-3 配置分析
deepspeed·qlora·大模型训练·vllm·rtx4090·grpo·qwen3.8