图解LLM,入门大模型必看

9张图解LLM

✅ 1. Transformer vs. Mixture of Experts

  • Transformer 每个解码器块使用固定的前馈网络;
  • Mixture of Experts (MoE) 通过 Router 动态选择部分专家网络,提升模型容量同时减少计算量。

✅ 2. 5种微调大语言模型(LLM)的方法(LoRA系列)

  • LoRA:冻结原始参数,仅训练低秩矩阵 A 和 B;
  • LoRA-FA:输入侧也加入变换,更灵活;
  • VeRA:参数更少,训练共享向量 + 偏置;
  • Delta-LoRA:每层引入多个 LoRA 分支,增强表达;
  • LoRA+:在 B 矩阵上使用更大学习率,加快收敛。

✅ 3. Traditional RAG vs. Agentic RAG

  • 传统RAG:直接用 query 检索向量库,拼接上下文喂给 LLM;
  • Agentic RAG:引入 Agent,迭代重写问题、判断是否信息不足、是否需要用工具或检索源,流程更智能。

✅ 4. 5种 Agentic AI 设计模式

  1. Reflection:先生成再反思输出,迭代优化;
  2. Tool Use:调用外部工具补充信息;
  3. ReAct:推理 + 动作交替进行;
  4. Planning:先拆解任务,逐步执行;
  5. Multi-agent:多个 Agent 协作解决复杂问题。

✅ 5. 5种 RAG 文本切分策略(Chunking)

  1. Fixed-size:定长切分,简单易实现;
  2. Semantic:按语义相似性拼接;
  3. Recursive:大段内容递归再切分;
  4. 结构化切分:按文档结构如标题、章节切分;
  5. LLM生成切分:利用LLM智能划块。

✅ 6. 5级 Agentic AI 系统能力层级

  1. 基础回复者:只用 LLM 输出结果;
  2. Router 模式:路由器 LLM 选择最佳模型;
  3. 工具调用:LLM 能调用 API、数据库等外部资源;
  4. 多智能体:多个子 Agent 协同;
  5. 自主智能体:生成+验证器 Agent 形成闭环反馈优化。

✅ 7. Traditional RAG vs. HyDE

  • RAG:直接将 query 用作向量检索;
  • HyDE:先让 LLM 生成一段"假设文本",用该文本向量检索,提高相关性。

✅ 8. Traditional RAG vs. Graph RAG

  • RAG:依赖向量库检索相关文档;
  • Graph RAG:用 LLM 生成知识图谱(实体+关系),结合图数据库进行图遍历,获取结构化上下文。

✅ 9. KV Caching in LLMs

  • Insight 1:生成新 token 只需最后的 hidden state;
  • Insight 2:最后 hidden state 只依赖最后一个 query 向量和之前所有的 key/value 向量;
  • 结论:将 K/V 向量缓存起来,可避免重复计算,大幅提升推理效率。
相关推荐
FIT2CLOUD飞致云2 小时前
里程碑 | 1Panel开源面板GitHub Star数量突破30,000个!
运维·开源
FIT2CLOUD飞致云3 小时前
七月月报丨MaxKB在企业环境中实现AI落地的具体场景盘点
人工智能·开源·deepseek
FIT2CLOUD飞致云3 小时前
支持MySQL、PostgreSQL和Redis集群部署,1Panel开源面板v2.0.5版本发布
运维·开源
南玖yy3 小时前
Linux 桌面市场份额突破 5%:开源生态的里程碑与未来启示
linux·运维·服务器·汇编·科技·开源·gradle
辣香牛肉面5 小时前
Photon v0.3.0 基于Aria2免费开源轻量级多线程不限速下载器
开源·轻量级多线程不限速下载器
说私域7 小时前
基于定制开发开源AI智能名片S2B2C商城小程序源码的立减/立得类活动创新设计与应用研究
人工智能·开源
baozj14 小时前
html2canvas + jspdf 前端PDF分页优化方案:像素级分析解决文字、表格内容截断问题
前端·vue.js·开源
程序员晚枫14 小时前
今天凌晨,字节开源 Coze,如何白嫖?
开源
控心つcrazy18 小时前
Coze 开源了!所有人都可以免费使用了
开源·工作流·智能体·coze
chaofan98018 小时前
ERNIE-4.5-0.3B 实战指南:文心一言 4.5 开源模型的轻量化部署与效能跃升
人工智能·开源·文心一言