文章目录
- 一、课程核心思想
- 二、重点知识点
-
- [2.1 什么是 Pretrained Knowledge？](#2.1 什么是 Pretrained Knowledge？)
- [2.2 AI 已经知道大量常见知识](#2.2 AI 已经知道大量常见知识)
- [2.3 AI 也可能掌握非常冷门的知识](#2.3 AI 也可能掌握非常冷门的知识)
- [三、为什么 AI 能理解不完美的提问？](#三、为什么 AI 能理解不完美的提问？)
-
- [3.1 AI 不需要用户写出完全正确的句子](#3.1 AI 不需要用户写出完全正确的句子)
- [3.2 为什么 AI 能做到这一点？](#3.2 为什么 AI 能做到这一点？)
- [3.3 对 Prompt Engineering 的启示](#3.3 对 Prompt Engineering 的启示)
- 四、预训练知识的局限性
-
- [4.1 Knowledge Cutoff（知识截止时间）](#4.1 Knowledge Cutoff（知识截止时间）)
- [4.2 Knowledge Coverage（知识覆盖范围）](#4.2 Knowledge Coverage（知识覆盖范围）)
- [4.3 Hallucination（幻觉）](#4.3 Hallucination（幻觉）)
- 五、什么时候直接使用预训练知识？
- 六、重要英文术语
- 七、实践练习
- 八、复习问题
- [九、一页速记版（Quick Review）](#九、一页速记版（Quick Review）)
- [课程 Slides](#课程 Slides)
一、课程核心思想
这节课主要介绍 Pretrained Knowledge（预训练知识），也就是 AI 在正式与用户交互之前，通过训练已经学习到的知识。
吴恩达希望学习者理解：AI 本身已经具备广泛的知识，因此许多问题不需要额外提供资料或联网搜索，就可以直接向 AI 提问。但是，预训练知识也有局限。AI 的知识受到训练数据、知识覆盖范围以及训练时间等因素的影响。
因此，使用 AI 时需要理解两个问题：
- AI 已经知道什么？
- 什么时候需要向 AI 提供额外信息？
核心结论： AI 已经掌握大量预训练知识，但这些知识并不保证完整、最新或完全准确。
二、重点知识点
2.1 什么是 Pretrained Knowledge？
Pretrained Knowledge（预训练知识） 是指 AI 模型在预训练阶段，通过学习大量数据而获得的知识和模式。
这些训练数据可能来自：
- Web Pages：网页内容
- Books：书籍
- Articles：文章
- Research Papers：学术论文
- Online Discussions：网络讨论
- Code：程序代码
不同模型使用的数据来源并不完全相同。
AI 如何获得知识？简化过程如下：
Training Data（训练数据）
↓
Pretraining（预训练）
↓
Learn Patterns and Relationships
（学习语言模式与知识关联）
↓
Pretrained Model（预训练模型）
↓
Answer User Questions（回答用户问题）需要注意 ：AI 并不是简单地把整个互联网复制到数据库中。它主要通过训练调整模型参数，学习数据中的统计规律、语言结构和知识关联。
我的补充理解：可以把 AI 想象成一个阅读过大量资料的学生。当你问它一个问题时，它可以利用已经学过的知识生成答案。但这个类比并不意味着 AI 具有与人相同的记忆或理解机制。
2.2 AI 已经知道大量常见知识
老师通过生活中的问题说明，AI 可以利用预训练知识回答很多日常问题。
案例一：手机掉进汤里
问题：What should I do if I drop my phone in soup?
AI 可以根据已经学习的电子设备维护和安全知识，提出处理建议。
例如：
- 尽快取出手机。
- 如果安全可行，关闭电源。
- 不要立即充电。
- 避免使用高温设备烘干。
- 根据设备情况寻求专业维修。
知识点：
AI 可以将已有知识应用到具体生活场景，而不只是复述定义。
案例二：猫为什么盯着墙看？
问题：Why does my cat stare at the wall?
AI 可以结合动物行为方面的知识，提出可能的解释：
- 猫可能听到了人类没有注意到的声音。
- 猫可能观察到了微小的昆虫或光影变化。
- 猫的感官比人类更加敏锐。
知识点：AI 能够利用训练中学习到的知识，对日常现象提供可能的解释。但这些解释不一定能够确定某一只猫的实际行为原因。
2.3 AI 也可能掌握非常冷门的知识
老师的案例：Voyager Golden Record。Voyager Golden Record（旅行者金唱片） 是美国 NASA 在旅行者探测器上携带的一张唱片。唱片包含用于介绍地球及人类文明的声音和图像信息。
例如：
- 不同语言的问候
- 地球上的自然声音
- 人类音乐
- 与地球和人类文明相关的图像
可以向 AI 提问：What is on the Voyager Golden Record?
虽然这是一个相对冷门的话题，AI 仍然可能根据预训练知识给出较详细的回答。
核心知识点：AI 的预训练知识不仅包含常见知识，也可能覆盖大量专业、小众和历史性信息。但不能因为 AI 能够流畅回答，就假定所有细节都准确。
三、为什么 AI 能理解不完美的提问？
这是一个很有实用价值的知识点。
3.1 AI 不需要用户写出完全正确的句子
老师使用了一个关于微波炉（Microwave）的例子。即使用户输入中存在拼写错误，AI 仍可能理解用户真正想问什么。
例如：
How does a microvave work?
这里的 microvave 拼写错误，正确拼写应该是 microwave。但是 AI 仍然可能推断出：用户想了解微波炉的工作原理。
3.2 为什么 AI 能做到这一点？
我的技术补充：大语言模型并不只是通过精确关键词匹配来理解问题。它还可以利用：
- Context（上下文）：句子中的其他信息。
- Language Patterns（语言模式）：训练中学习的语言规律。
- Semantic Relationships（语义关联）：词语和概念之间的关系。
因此，即使句子存在一些语法或拼写错误，AI 仍可能正确理解用户意图。
3.3 对 Prompt Engineering 的启示
不需要把所有时间都花在追求完美的英文语法上。更重要的是：
- 任务目标是否明确？
- 背景信息是否充分？
- 关键要求是否清楚？
- 输出形式是否符合需求？
例如：Explain microwave simply. 虽然这个 Prompt 比较简短，但 AI 通常能够理解。不过，如果你希望得到更适合自己的答案，可以进一步提供 Context：
Explain how a microwave oven works.
Assume I am a beginner with no physics background.
Use simple language and a real-world analogy.学习启示：Prompt 的核心不是语言必须完美，而是让 AI 准确理解你希望完成的任务。
四、预训练知识的局限性
这一部分也是理解下一节 P3 --- Web Search 的基础。
4.1 Knowledge Cutoff（知识截止时间）
AI 的预训练并不是持续、实时发生的。模型的知识可能主要来自某个时间范围内的数据。
例如：假设一个模型的知识截止时间是 2024 年。那么当你问：What happened in AI research yesterday? 如果没有额外的搜索工具或新资料，模型就无法可靠地知道昨天发生了什么。
因此：Pretrained Knowledge ≠ Real-time Information
即：预训练知识不等于实时信息。
4.2 Knowledge Coverage（知识覆盖范围）
AI 并不一定对所有领域都有同等程度的了解。这与训练数据的覆盖范围有关。
| 知识类型 | 可能的情况 |
|---|---|
| 常见生活知识 | 通常有较多训练资料 |
| 基础科学知识 | 通常覆盖较广 |
| 专业研究知识 | 可能覆盖，但需要核实细节 |
| 小众文化知识 | 覆盖程度不确定 |
| 最新事件 | 可能超出知识截止时间 |
| 私人或内部信息 | 通常需要用户主动提供 |
重要区别：AI 能够回答一个问题，不代表它一定掌握了可靠的事实。
4.3 Hallucination（幻觉）
Hallucination（幻觉） 是指 AI 生成看似合理、实际上却不准确或缺乏事实依据的内容。例如：用户询问某个不存在的研究论文。AI 可能生成一个看起来真实的论文标题、作者和发表年份。这并不代表那篇论文真实存在。
我的补充建议：当问题涉及以下内容时，应更加重视事实核查：
- 学术论文和引用
- 医疗与法律信息
- 金融决策
- 最新新闻
- 精确统计数据
- 重要历史细节
幻觉是理解模型局限时需要掌握的相关概念，但这里的虚构论文例子是我的补充，并非已核实的 P2 原始案例。
五、什么时候直接使用预训练知识？
可以根据问题的特点进行判断。
| 用户任务 | 是否通常需要联网？ | 原因 |
|---|---|---|
| 解释机器学习的基本概念 | 否 | 基础知识相对稳定 |
| 解释微波炉工作原理 | 否 | 科学原理相对稳定 |
| 介绍旅行者金唱片 | 不一定 | AI 可能已有相关知识 |
| 查询今天的 AI 新闻 | 是 | 需要最新信息 |
| 查询附近健身房的营业时间 | 是 | 信息可能变化 |
| 查询最新论文 | 是 | 需要最新资料 |
| 分析用户自己的项目报告 | 需要提供文件 | 私人资料未必在模型知识中 |
这张表是我的学习辅助总结。一个实用的判断方法：
Is the information stable?
（信息是否稳定？）
↓
Yes
↓
Use Pretrained Knowledge
（可以优先使用预训练知识）
↓ No
Use Web Search or Provide Context
（使用联网搜索或补充资料）这只是简化规则。对于重要或高风险的事实，即使信息相对稳定，也应该核实来源。
六、重要英文术语
| English | 中文 | 解释 |
|---|---|---|
| Pretrained Knowledge | 预训练知识 | AI 在预训练阶段学习到的知识 |
| Pretraining | 预训练 | 模型从大量数据中学习的过程 |
| Training Data | 训练数据 | 用于训练模型的数据 |
| Large Language Model (LLM) | 大语言模型 | 能够理解和生成语言的 AI 模型 |
| Knowledge Cutoff | 知识截止时间 | 模型知识覆盖的时间边界 |
| Knowledge Coverage | 知识覆盖范围 | 模型掌握不同领域知识的程度 |
| Context | 上下文 | 帮助 AI 理解任务的背景信息 |
| Hallucination | 幻觉 | AI 生成不准确或虚构的内容 |
| Real-time Information | 实时信息 | 随时间变化的最新信息 |
| Web Search | 联网搜索 | 通过网络获取外部信息 |
| Semantic Understanding | 语义理解 | 根据上下文理解语言含义 |
七、实践练习
Exercise 1：测试 AI 的预训练知识
分别向 AI 提问：
1. Why is the sky blue?
2. How does a microwave oven work?
3. What is on the Voyager Golden Record?观察重点：
- AI 是否能够直接回答？
- 哪些问题回答得比较详细？
- 哪些内容需要额外核实？
- AI 是否表达了不确定性？
Exercise 2：测试 AI 对拼写错误的理解
尝试输入：
Explian how machien lerning works.然后输入正确版本：
Explain how machine learning works.比较两个回答：
- AI 是否理解了错误拼写？
- 两次回答的核心内容是否相似？
- 哪些错误可能导致 AI 误解？
Exercise 3：判断 AI 的知识边界
向 AI 提问：
What are the latest developments in AI this week?然后进一步要求：
Search the web and verify the latest
developments using reliable sources.
Include publication dates and source links.练习目标：理解依靠预训练知识回答与通过联网搜索回答之间的区别。
八、复习问题
Q1：什么是 Pretrained Knowledge？
答： AI 在预训练过程中，通过大量数据学习到的知识和语言模式。
Q2：为什么 AI 能够回答冷门问题？
答： 因为训练数据可能包含大量专业、小众和历史性资料，使模型能够学习相关知识。
Q3：为什么 AI 能够理解拼写错误？
答： 因为 AI 可以利用上下文、语言模式和语义关联推断用户意图，而不仅仅依靠精确关键词匹配。
Q4：预训练知识最大的局限是什么？
答： 知识可能过时、不完整或不准确，并且无法自动覆盖用户未提供的私人信息。
Q5：什么时候应该使用 Web Search？
答： 当问题涉及最新事件、实时数据、动态变化的信息，或者需要核实具体事实时，应考虑联网搜索。
九、一页速记版（Quick Review）
核心思想：AI 已经通过预训练学习了大量知识，可以直接回答许多常见和专业问题，但其知识存在时间、覆盖范围和准确性方面的限制。
五个关键知识点：
- Pretrained Knowledge：AI 在训练过程中学习到的知识。
- Knowledge Coverage：AI 可能知道很多冷门知识，但覆盖并不均匀。
- Context Understanding：AI 可以利用上下文理解不完美的输入。
- Knowledge Cutoff：预训练知识不等于最新信息。
- Knowledge Limitations：AI 可能出现事实错误，需要适当验证。
三个重要原则：
-
Use AI's pretrained knowledge for stable information.
对稳定的知识，可以优先利用 AI 的预训练知识。
-
Provide context when AI lacks task-specific information.
当 AI 缺少任务背景时，主动提供相关资料。
-
Use web search when information needs to be updated or verified.
当信息需要更新或核实时，使用联网搜索。
最终总结：AI 的预训练知识是使用 AI 的基础。理解这些知识的来源与局限，才能判断什么时候可以直接向 AI 提问，什么时候需要补充背景资料或使用联网搜索。
课程 Slides
视频来源：吴恩达《给所有人的人工智能提示词课程|AI Prompting for Everyone》DeepSeek-v4-pro翻译