第9课：LangMem SDK高效实现长期记忆管理 - 学习笔记
📚 课程核心主题
本节课深入讲解如何通过LangMem SDK高效实现长期记忆管理，包括模型微调的重要性、垂直领域模型训练、AI系统设计边界等核心概念。
🎯 第一部分：模型能力是核心
规划、观察和执行的基础
核心理解
是什么：
- 规划、观察和执行这些能力不是Agent本身的能力
- 而是依托于模型（LM）自身的能力
- 是模型的自我认知能力
关键点：
- ❌ 如果模型能力不行，Agent设计得再好也没用
- ✅ 模型的能力必须足够强
- ✅ 这是整个系统的核心基础
类比理解：
- 就像一辆车，发动机不行，再好的车身也没用
- 模型就是AI系统的"发动机"
- Agent只是"车身"，提供功能框架
垂直领域模型的重要性
通用模型 vs 垂直模型
通用模型的问题：
- ❌ 在垂直领域表现不佳
- ❌ 无法深入理解特定业务场景
- ❌ 效果不理想
垂直模型的优势：
- ✅ 针对特定领域训练
- ✅ 更深入理解业务场景
- ✅ 效果更好
实际场景：
- 通用模型（如DeepSeek）：适合通用场景
- 垂直模型：针对特定业务场景训练
- 例如：医疗、法律、金融等垂直领域
🔧 第二部分：模型微调的必要性
为什么需要微调？
核心原因
问题：
- 如何让模型更好地理解用户的诉求？
- 如何提升模型在垂直领域的表现？
解决方案：模型微调（Fine-tuning）
是什么：
- 对预训练模型进行微调
- 使用垂直领域的数据训练
- 让模型更懂特定业务场景
关键理解：
- ✅ 这是AI大模型应用开发者必须掌握的能力
- ✅ 没有这个能力，只能做最简单的应用
- ✅ 无法真正落地生产级系统
微调的重要性
实际生产环境
企业实际需求：
- ✅ 使用小参数模型（如7B模型）
- ✅ 本地私有化部署
- ❌ 不使用API模型
原因：数据安全
- 在AI时代，数据安全最重要
- 数据是企业的核心资产
- 不能把数据交给第三方API
关键点：
- 数据才是壁垒
- 只有有了数据，才能做数据的AI化
- 才能形成垂直应用的闭环
微调的价值
为什么很多企业做不好AI？
问题：
- ❌ 没有数据
- ❌ 不知道怎么做数据的AI化
- ❌ 不知道怎么训练垂直模型
- ❌ 不知道如何使用
结果：
- 只能使用通用API（如DeepSeek）
- 效果不行
- 幻觉严重
- 理解不了业务场景
解决方案：
- ✅ 必须做模型微调
- ✅ 让模型更懂业务场景
- ✅ 更理解语义和意图
关键理解：
- 微调是整个应用的核心
- 上面的应用层只是组件化开发
- 真正的核心是模型微调
📊 第三部分：模型选择策略
小参数模型 vs 大参数模型
生产环境的选择
推荐：小参数模型
- ✅ 1.5B到7B的模型
- ✅ 适合本地部署
- ✅ 成本低、效率高
不推荐：大参数模型
- ❌ 参数量太大
- ❌ 部署成本高
- ❌ 不适合企业级应用
关键点：
- 从成本、效率、性能、精度等各方面考虑
- 小参数模型更适合落地
- 这是企业级应用的趋势
🎨 第四部分：AI系统设计的边界
AI Native应用 vs AI增强应用
两种应用模式
模式1：AI Native应用
- 纯AI的全新应用
- 从零开始设计
- 适合新场景
模式2：AI增强应用（推荐）
- 现有应用 + AI增强
- 在特定场景或功能上使用AI
- 提高生产力、效率、用户体验
关键理解：
- ✅ 大部分企业应该用AI增强模式
- ✅ 不能把原来所有东西都废掉
- ✅ AI是赋能，不是替代
AI系统的边界
实际案例：订单系统
问题： AI能下订单吗？
答案： 不能完全下订单
AI的作用：
- ✅ 自动识别用户输入（语音或文本）
- ✅ 调用工具填写表单
- ✅ 完成表单填写
后端系统的作用：
- ✅ 真正的下订单业务
- ✅ 订单系统的核心逻辑
- ✅ 数据保存和业务处理
关键理解：
- AI只负责识别和表单填写
- 真正的业务逻辑还在后端系统
- 两者需要结合和集成
常见误区
错误认知：
- ❌ "整个CRM系统能不能用AI实现？"
- ❌ "订单系统能不能用AI实现？"
正确理解：
- ✅ AI系统的设计有边界
- ✅ AI不是万能的
- ✅ 需要明确AI能做什么、不能做什么
关键点：
- 很多企业都搞不清楚AI的边界
- 导致项目失败
- 需要正确理解AI的能力范围
💼 第五部分：AI应用开发者的能力要求
两类人群最吃香
第一类：有开发经验的程序员
背景：
- Java程序员
- 大数据开发等
- 有实际开发经验
优势：
- ✅ 有编程基础
- ✅ 理解系统架构
- ✅ 能快速上手AI开发
关键理解：
- 以后不管做什么开发，都会用AI重塑
- 在某些环节、功能点、需求上会用AI化
- 这是趋势
第二类：产品经理
背景：
- 互联网产品经理
- 制造业产品经理等
- 有产品设计经验
优势：
- ✅ 理解业务需求
- ✅ 知道如何降本增效
- ✅ 能设计AI化的产品交互模式
关键理解：
- 如何把原来的产品通过AI降本增效？
- 如何提高用户体验？
- 如何聚焦通过AI打造新的交互模式？
就业前景
市场需求：
- ✅ 企业招不到合适的人
- ✅ 大部分人都是一知半解
- ✅ 真正懂AI应用开发的人很少
薪资水平：
- ✅ 三本学历也能拿到高薪
- ✅ 深圳地区3万+月薪
- ✅ 还有季度奖金
关键点：
- 不是学历问题，是能力问题
- 需要有完整的体系化知识
- 需要有落地的项目经验
🎓 第六部分：如何成为合格的AI应用开发者
核心能力要求
1. 完整的体系化认知
需要掌握：
- ✅ AI的边界
- ✅ 需求AI化
- ✅ 数据AI化
- ✅ 与现有业务系统的结合和集成
关键理解：
- 不是会RAG、Agent就能找工作
- 需要有全盘的认知
- 需要理解整个AI应用开发的体系
2. 项目解决方案能力
需要能够：
- ✅ 提出各种解决方案
- ✅ 清晰阐述技术亮点
- ✅ 说明项目效果
- ✅ 说明遇到的坑和解决方案
关键点：
- 技术选型：为什么这么选？
- AI数据方案：怎么做的？
- AI技术方案：用了哪些方案？
- 评测和评估：怎么做的？
- 优化方案：后续怎么优化？
3. 解决实际问题的能力
实际案例：RAG效果不好
问题：
- 回答不全面
- 有幻觉
- 效果不行
解决方案：
- ✅ 对RAG的每个阶段都要优化
- ✅ 包括微调
- ✅ 包括trunk（分块）
- ✅ 特别是语料的结构化处理
- ✅ 数据清洗
关键理解：
- 不是把文档往RAG框架里一拖就行
- 需要精细化的处理
- 需要数据清洗和结构化
编码能力要求
重要提醒：
- ❌ 不要以为轻代码、无代码就能搞定
- ✅ 编码能力还是有要求的
- ✅ 零代码无法搞定AI落地
关键理解：
- AI代码生成工具越来越强
- 但编码能力仍然重要
- 需要理解代码逻辑和系统架构
💡 关键概念总结
| 概念 | 简单理解 |
|---|---|
| 模型能力 | 规划、观察、执行的基础，是系统的核心 |
| 垂直模型 | 针对特定领域训练的模型，效果更好 |
| 模型微调 | 使用垂直领域数据训练模型，必须掌握的能力 |
| 小参数模型 | 1.5B-7B模型，适合本地部署，成本低 |
| AI增强应用 | 现有应用+AI增强，在特定场景使用AI |
| AI系统边界 | AI不是万能的，需要明确能做什么、不能做什么 |
| 数据AI化 | 将企业数据转化为AI可用的格式 |
| 需求AI化 | 将业务需求转化为AI可解决的问题 |
❓ 思考题
-
为什么说模型能力是核心？
- 答：规划、观察、执行这些能力不是Agent本身的能力，而是依托于模型自身的能力。如果模型能力不行，Agent设计得再好也没用。模型就像"发动机"，是整个系统的核心基础。
-
为什么需要模型微调？
- 答：通用模型在垂直领域表现不佳，无法深入理解特定业务场景。通过微调，使用垂直领域的数据训练模型，让模型更懂业务场景，更理解语义和意图。这是AI应用开发者必须掌握的能力。
-
AI Native应用和AI增强应用的区别？
- 答：AI Native应用是纯AI的全新应用，从零开始设计；AI增强应用是现有应用+AI增强，在特定场景或功能上使用AI，提高生产力、效率、用户体验。大部分企业应该用AI增强模式。
-
AI系统的边界是什么？
- 答：AI不是万能的，需要明确AI能做什么、不能做什么。例如，AI可以识别用户输入、填写表单，但真正的业务逻辑（如下订单）还需要后端系统完成。AI只负责识别和表单填写，需要与后端系统结合。
-
如何成为合格的AI应用开发者？
- 答：需要具备：①完整的体系化认知（AI边界、需求AI化、数据AI化等）；②项目解决方案能力（能提出方案、阐述技术亮点、说明效果）；③解决实际问题的能力（优化RAG、数据清洗等）；④编码能力（理解代码逻辑和系统架构）。
📌 本节课重点回顾
✅ 模型能力是核心： 规划、观察、执行依托于模型自身能力，不是Agent的能力
✅ 模型微调必要： 必须掌握微调能力，让模型更懂业务场景，这是应用的核心
✅ 小参数模型： 1.5B-7B模型适合生产环境，成本低、效率高
✅ AI系统边界： AI不是万能的，需要明确能做什么、不能做什么
✅ 能力要求： 需要完整的体系化认知、项目解决方案能力、解决实际问题的能力
笔记整理时间：2024年
建议：理解模型微调的重要性和AI系统的边界是构建企业级AI应用的关键，需要系统化学习和实践