大模型应用开发(十五)_知识库1

1. 大模型的局限性

能力与表现的局限性

事实错误（幻觉）：容易生成看似合理但不真实的信息，缺乏严格的事实校验机制。
逻辑推理不足：在复杂数学推理、符号推理、跨长链因果关系时容易出错。
上下文有限：虽然上下文窗口越来越大，但依然有限，长文档跨页关联、长期记忆支持不足。
领域知识深度有限：对专业知识（医学、法律、金融）理解不如领域专家，可能输出不严谨或存在风险。

技术层面的局限性

数据依赖：依赖训练数据的广度和质量，若数据中存在偏差、过时或歧视信息，模型会继承。
难以解释：模型是"黑箱"，内部推理过程难以解释，不利于高风险领域应用。
更新成本高：模型参数规模巨大，重新训练或微调成本昂贵，实时更新困难。

资源与效率限制

计算开销大：训练和推理都消耗大量 GPU/TPU 资源，能耗高，碳足迹大。
延迟与成本：在实际应用中，响应延迟和部署成本可能过高，不适合低算力设备。

安全与伦理局限

偏见与歧视：模型可能放大训练数据中的刻板印象或不公正偏见。
易被利用：可能被恶意用户用来生成虚假信息、诈骗文本或攻击代码。
责任归属不清：当模型输出导致损害时，难以界定责任主体（开发方、使用方、还是模型本身）。

应用场景的限制

缺乏常识与真实世界感知：无法真正理解物理世界，只能基于文本概率。
缺乏长期规划：难以独立完成复杂的长期任务（需要多步骤计划和持续反馈的任务）。
个性化有限：虽然可以通过提示词或微调增强，但对个体用户的深度适应仍有限。

总结：

大模型强在生成和语言理解，但弱在真实感知、因果推理、知识准确性和资源效率。

2. 如何喂给大模型知识

"如何给大模型喂知识"，通常涉及 知识增强（Knowledge Injection/Integration） 的方法。不同场景下有不同手段，可以大致分为 训练时注入 和 推理时补充 两类：

训练时喂知识（模型本身学会）

适合长期固化的、对模型非常核心的知识。

全量预训练
- 把知识（文本、文档、数据库等）加入到大规模训练语料中。
- 优点：模型能"内化"知识，随时调用。
- 缺点：成本极高，且更新不灵活。
继续预训练（Continued Pretraining）
- 在现成大模型的基础上，用特定领域的知识库继续训练。
- 常用于医学、法律、金融等专业大模型。
- 优点：成本比全量低，效果好。
- 缺点：更新依旧需要再训练。
微调（Fine-tuning）
- 用小规模、标注好的知识样本微调模型。
- 包括 SFT（监督微调） 、LoRA/PEFT 等轻量方式。
- 优点：成本相对低，能让模型快速掌握领域术语和格式。
- 缺点：覆盖面有限，知识更新还需重复微调。

推理时补充（模型外接知识）

适合动态知识、需要实时更新的场景。

提示工程（Prompt Engineering）
- 在输入里直接加上下文知识（例如给一段背景资料再提问）。
- 优点：简单，实时。
- 缺点：上下文窗口有限。
检索增强生成（RAG, Retrieval-Augmented Generation）
- 把知识存进数据库（如向量库），每次问问题时检索相关内容，拼到 Prompt 里让模型回答。
- 优点：灵活、可更新，不需要改动模型本身。
- 缺点：依赖检索质量，可能拼接内容过长。
工具调用 / API 接入
- 大模型只做"推理"，遇到知识性问题时调用外部数据库/API（例如实时新闻、法规库、企业知识库）。
- 优点：可保证最新知识，避免幻觉。
- 缺点：需要系统集成设计。

混合方式

实际应用里通常是 训练注入 + 推理补充：

用微调让模型学会专业领域的"语言习惯和基本概念"；
用 RAG 或 API 调用提供最新的知识库内容。

✅ 类比一下：

训练时喂知识 = 把书背进脑子里（记得牢，但更新难）。
推理时补充 = 查工具书/数据库（灵活，实时，但要查得准）。

示例：招聘简历筛选提示词（需上传简历word/pdf）

复制代码

岗位职责：
1.负责前端页面与样式的开发和功能实现;
2.与服务端开发沟通，保证产品质量和开发速度;
3.不断优化代码，应用前沿技术，提升页面性能;
4.持续优化系统的用户体验和可用性;

任职要求
1.精通Vue.js框架，具备实际开发经验;
2.精通JavaScript、jQuery、HTML5、CSS、ES6等技术;
3.熟悉HTTP、RESTful、JSON等常用技术和数据结构;
4.熟悉CSS、JavaScript的性能优化，具备多浏览器兼容性问题解决能力;
5.能熟练使用ElementUI或Quasar框架进行开发;
6.有Vue2.0、Vue3.0项目开发经验者优先;
7.有参与过前端框架改造项目经验者优先;
8.具备良好的代码编写习惯、自主学习能力、团队合作意识和积极性;

请根据以上的招聘JD，帮我筛选简历，要求如下:
1.按照岗位的明确需求，严格依据需求要点，深度考量工作年限、工作经历项目经历、专业技能等关键要素，精准筛选匹配简历；
2.对筛选所得的简历进行严谨分类，明确区分为完全符合(可即刻安排面试)、基本符合(建议电话深入沟通以核实细节)、不符合等类别；
3.针对完全符合需求的简历，详细罗列符合需求的具体原因；
4.针对基本符合需求的简历，罗列原因，并指出哪些细节存疑，建议电话沟通；
5.针对不符合需求的简历，详细且清晰地罗列不符合的具体原因；

回复示例
简历名称：<上传文件的对应名称>
简历状态：<完全符合/基本符合/不符合>
原因分析：<精确阐述符合或者不符合的核心要点>