前言
最近离职了，在准备面试的过程中，一直在整理一些东西，目前整理到了ai的开发，之前做了快一年的ai前端开发，但是因为当时是比较早期的，都是学一点用一点，没有系统的整理过，现在时间多了，正好整理一下ai应用的常见思路和前端在ai应用开发过程中的作用
项目仓库
每一篇都会对应一些实战demo，我都放在这个仓库里面了 Learn-LLM
主要分以下几个模块
第一篇 认知与基础
第1章 生态与能力边界
- 学习目标：理解大模型应用的价值、常见应用形态与局限；建立问题建模思维。
- 核心知识点：生成式AI版图（模型/数据/工具/评测/部署）、典型任务与失效模式、负责任AI基本框架。
- 案例：对比"搜索问答 vs. 生成问答"的产品差异与适用场景。
- 练习：绘制"AI可用性-风险矩阵"，标注 3 个优先落地点。
第2章 从 NLP 到 LLM：工作原理速成
- 学习目标：理解 Transformer、注意力、token、上下文窗口与推理关系。
- 核心知识点：预训练与指令对齐、解码策略（greedy/beam/sampling）、长上下文与工具使用。
- 案例：同一问题在不同温度与解码策略下的输出差异。
- 练习：编写脚本对比三组解码参数的答案一致性与长度分布。
第3章 提示工程与系统提示设计
- 学习目标：写出稳定、可复用、可评测的提示；掌握结构化输出。
- 核心知识点：角色与任务拆解、思维链/草图/约束、少样本与模板化、JSON/正则可解析输出。
- 案例：迭代"客服问答"提示为结构化三段式（理解-检索-作答）。
- 练习：把自由文本总结任务改写为包含"输入格式/输出格式/失败重试策略"的系统提示。
第二篇 基建与检索
第4章 模型与 API 选型
- 学习目标：根据需求在商用 API、开源模型、本地/云部署间做权衡。
- 核心知识点：能力/成本/延迟三角、上下文窗口、函数调用支持、多模态能力、许可与数据合规。
- 案例：做一个"法律合规优先"的选型决策表。
- 练习：为三类任务（摘要/代码补全/结构化IE）给出候选模型与理由。
第5章 嵌入与向量数据库
- 学习目标：理解语义向量、构建索引并实现高效近邻检索。
- 核心知识点：嵌入维度与归一化、ANN（HNSW/IVF）、向量+关键词混检、元数据过滤、更新与版本化。
- 案例：为 10 万条 FAQ 构建向量索引并对比 Top-k/阈值策略。
- 练习：实现"语义相似度告警"，当新知识进入库时自动回归测试。
第6章 RAG 系统设计
- 学习目标：能从零搭建稳健的 RAG，并识别瓶颈。
- 核心知识点：文档切块与压缩、检索重排、上下文组织、引用与证据链。
- 案例：为合规文档构建"带引文"的问答系统。
- 练习：实现三种切块策略并用黄金集评测命中率与幻觉率。
第三篇 应用架构与智能体
第7章 前后端架构与交互模式
- 学习目标：掌握流式生成、会话状态与前端体验优化。
- 核心知识点：SSE/WebSocket、会话摘要、撤回与再生成、隐私保护。
- 案例：实现一个带流式输出与可复制代码块的聊天界面。
- 练习：为前端接入"打字机式"渲染，测量首字节时间。
第8章 函数调用与工具使用
- 学习目标：让模型安全地调用外部 API。
- 核心知识点：函数签名、参数校验、拒答策略、幂等与超时、返回结果结构化。
- 案例：构建"行程规划器"，模型调用地图/票务/天气 API。
- 练习：为 2 个 API 设计函数模式与错误回退流程。
第9章 Agent 与工作流编排
- 学习目标：理解多步推理、规划与子任务分解。
- 核心知识点：Planner-Executor、记忆与知识写回、反思与纠错、并行与串行链路。
- 案例：构建"企业知识助理"多代理协作。
- 练习：改造单轮任务为多轮工作流并记录中间产物。
第10章 数据构建与指令微调
- 学习目标：低成本提升特定任务表现与风格一致性。
- 核心知识点：指令数据设计、合成数据、LoRA/QLoRA、对齐与偏差。
- 案例：用 3k 条领域指令数据做轻量微调。
- 练习：设计 100 条高质量指令样本模板。
第四篇 评测、安全与治理
第11章 评测体系
- 学习目标：建立可重复的线下评测与线上监控体系。
- 核心知识点：任务指标、模型判官、A/B 测试、回归与漂移检测。
- 案例：构建"引用一致性"自动评测。
- 练习：制定 50 条黄金集，含负例与越狱样本。
第12章 安全、合规与隐私
- 学习目标：识别并降低越狱、幻觉、泄露与版权风险。
- 核心知识点：输入输出过滤、防越狱沙箱、PII 处理、内容来源标注。
- 案例：设计医疗问答多层安全闸门。
- 练习：写出应用安全基线清单并用红队验证。
第五篇 部署、性能与成本
第13章 性能与成本优化
- 学习目标：降低延迟与成本同时保持质量。
- 核心知识点：缓存、批处理、路由、量化与蒸馏、上下文压缩。
- 案例：通过缓存与提示压缩降低 40% 成本。
- 练习：绘制"延迟瀑布图"，提出三条优化方案。
第14章 部署形态与可观测性
- 学习目标：选择合适的部署路径并建立可观测体系。
- 核心知识点：Serverless 与专有实例、灰度发布、幂等与重试、日志/指标/追踪。
- 案例：从原型迁移到生产的蓝图。
- 练习：实现请求级 trace 并关联至检索命中。
第六篇 场景落地与多模态
第15章 多模态应用
- 学习目标：设计图文理解、语音助手与文档结构化抽取。
- 核心知识点：OCR/版面分析、语音识别与合成、长文档代理。
- 案例：构建"发票与合同自动归档"。
- 练习：挑 2 个多模态用例，画数据流与错误处理。
第16章 行业案例集
- 学习目标：掌握可复制的落地模板与指标体系。
- 核心知识点：搜索问答、智能客服、代码助手、数据分析与 BI。
- 案例：深挖"企业知识问答"从需求到上线闭环。
- 练习：迁移第3章提示模板到本章任一场景并评测。
结语：演进路线与学习建议
- 路线图：原型 → RAG → 工具化 → 工作流 → 微调与多模态 → 安全与治理。
- 建议：建立"黄金集+红队集"，每周固定评审。
附录
- 附录A 模板与清单：提示模板、安全基线、评测脚手架。
- 附录B 开源与商用品类导航：模型、嵌入、向量库、编排框架、可观测工具。
- 附录C 术语表与常见陷阱。
- 附录D 延伸阅读：经典论文、工程实践文章、负责任AI参考。