AI Prompting for Everyone 课程笔记 - P06 模型提示词对比 AI Model Prompt Comparison

文章目录

一、课程核心思想
二、重点知识点
- [2.1 什么是 AI Model Prompt Comparison？](#2.1 什么是 AI Model Prompt Comparison？)
- [2.2 为什么同一个 Prompt 会得到不同答案？](#2.2 为什么同一个 Prompt 会得到不同答案？)
三、老师的实验案例
- [3.1 案例一：Six Seven Meme](#3.1 案例一：Six Seven Meme)
- [3.2 案例二：Current Events（近期事件）](#3.2 案例二：Current Events（近期事件）)
- [3.3 案例三：Web Search vs. Deep Research](#3.3 案例三：Web Search vs. Deep Research)
- [3.4 案例四：Rocket-propelled Monster Truck](#3.4 案例四：Rocket-propelled Monster Truck)
- [3.5 案例五：拼写错误与语义理解](#3.5 案例五：拼写错误与语义理解)
四、如何正确开展模型比较实验？
- [4.1 Control Variables（控制变量）](#4.1 Control Variables（控制变量）)
- [4.2 Evaluation Criteria（评价标准）](#4.2 Evaluation Criteria（评价标准）)
- [4.3 如何记录实验结果？](#4.3 如何记录实验结果？)
- 五、实践练习
六、重要英文术语
七、复习问题
[八、一页速记版（Quick Review）](#八、一页速记版（Quick Review）)
参考资源
[课程 Slides](#课程 Slides)

一、课程核心思想

前面五节课程主要介绍了：

P1 --- The AI Novice and the AI Power User：如何成为更高效的 AI 用户。
P2 --- Pretrained Knowledge：AI 的知识从哪里来。
P3 --- Web Search：如何通过联网搜索获取新信息。
P4 --- Web Search Sources：如何判断信息来源是否可靠。
P5 --- Using Deep Research：如何利用 AI 开展复杂的多步骤研究。

但是，掌握这些概念之后，还需要通过实践了解不同 AI 模型的实际表现。即使使用完全相同的 Prompt，不同 AI 模型也可能生成不同的答案。

例如：

有的模型回答更加详细。
有的模型更加简洁。
有的模型更擅长推理。
有的模型更容易遗漏要求。
有的模型在事实准确性方面表现更好。
有的模型可能更适合特定任务。

因此，本节介绍 AI Model Prompt Comparison（AI 模型提示词比较）。

核心结论：不同 AI 模型对同一 Prompt 的响应可能不同。通过有控制的比较实验，可以更客观地了解模型的能力、局限和适用场景。

二、重点知识点

2.1 什么是 AI Model Prompt Comparison？

AI Model Prompt Comparison（AI 模型提示词比较）指使用相同或等价的 Prompt 测试不同 AI 模型，并比较它们的输出结果。例如：

复制代码

Explain the concept of machine learning
to a beginner.

Use simple language and provide
three real-world examples.

将这个 Prompt 分别提交给：

Model A
Model B
Model C

然后比较：

哪个回答更加准确？
哪个回答更加容易理解？
哪个回答更符合 Prompt 要求？
哪个回答提供了更好的例子？
哪个回答存在明显错误？

简化实验流程

复制代码

Create a Prompt
（设计测试提示词）
        ↓
Select AI Models
（选择测试模型）
        ↓
Submit the Same Prompt
（提交相同提示词）
        ↓
Collect Responses
（收集模型回答）
        ↓
Evaluate Responses
（评价回答质量）
        ↓
Compare Results
（比较实验结果）
        ↓
Identify Strengths and Weaknesses
（总结模型优缺点）

知识点：比较 AI 模型时，应该尽量保持测试条件一致，避免因为 Prompt、工具或上下文不同而产生不公平的比较。

2.2 为什么同一个 Prompt 会得到不同答案？

即使两个模型接收到完全相同的输入，也不一定生成相同结果。

这可能与以下因素有关：

Training Data（训练数据）

不同模型可能使用不同的数据进行训练。

因此，它们的知识覆盖范围和语言风格可能存在差异。
Model Architecture（模型架构）

不同模型可能采用不同的架构设计或实现方式。

这些差异可能影响模型的处理能力和效率。
Training and Fine-tuning（训练与微调）

模型可能经过不同的训练与后训练过程。

例如：

指令遵循训练。
人类反馈优化。
安全性训练。
针对特定任务的优化。

这些过程可能影响模型回答的风格和行为。

Reasoning Capabilities（推理能力）

不同模型在数学推理、逻辑分析和复杂任务分解方面可能表现不同。
Tool Availability（工具可用性）

某些模型或产品可能具备：

Web Search
Code Execution
File Analysis
Deep Research

而另一些模型可能无法使用这些工具。

因此，实验时需要区分：模型本身的能力与模型加工具后的整体能力。

影响因素总结

因素	可能产生的影响
Training Data	知识覆盖与语言表现
Model Architecture	处理效率与能力特点
Fine-tuning	指令遵循和回答风格
Reasoning Capabilities	复杂问题的解决能力
Tool Availability	能否获取外部信息和执行操作
Context	是否掌握完成任务所需的背景

以上是我的技术补充，用于帮助理解模型差异，并非已经核实的 P6 逐字讲解内容。

三、老师的实验案例

根据公开英文课程转写稿，P6 实际上重点演示的是：比较预训练知识、联网搜索、深度研究和补充上下文对回答的影响，而不只是比较不同品牌的 AI 模型。

3.1 案例一：Six Seven Meme

老师在实验界面中使用：What is the 67 meme?

分别比较：

Without Web Search：不启用联网搜索。
With Web Search：启用联网搜索。

不联网的模型在演示中无法正确解释这个新兴网络梗；启用联网搜索后，模型能够解释其含义和起源。

知识点：对于近期出现的信息，联网搜索可以显著改变回答质量。

3.2 案例二：Current Events（近期事件）

实验还提供了几个可选问题：

复制代码

Find me a highly rated gym.

When is the next Avengers movie scheduled?

What major news happened today in the US?

这些问题分别涉及地点、未来档期和最新新闻。老师鼓励学习者分别开启、关闭 Web Search，观察结果有什么不同。

知识点：通过控制是否联网，可以直接观察预训练知识的时效性局限。

3.3 案例三：Web Search vs. Deep Research

老师再次使用了 P4 中的灰色市场肽类产品问题。

复制代码

How safe are gray market peptides?
Use high-quality sources.

实验比较：

Web Search：使用普通联网搜索。
Deep Research：使用深度研究。

在实验界面中，普通搜索由地球图标表示，深度研究由显微镜图标表示。老师希望学习者观察两种模式在研究深度、信息组织和来源使用方面的区别。需要注意，课程没有要求学生预先认定 Deep Research 的每个回答都一定更准确。

3.4 案例四：Rocket-propelled Monster Truck

这是本节很有趣的案例。老师提出：

复制代码

Can I keep my rocket-propelled
monster truck in my garage?

随后，实验会比较两种情况：

不提供额外资料。
上传租赁合同（Lease Agreement）。

租赁合同可能包含车库用途、车辆存放或其他限制条件。AI 阅读合同后，就可能给出更符合具体情况的回答。

知识点：即使 Prompt 相同，增加相关 Context 也可能显著改变答案。

3.5 案例五：拼写错误与语义理解

老师还展示了两个版本的猫咪问题：

一个包含大量拼写错误。
一个使用正确的英文语法。

问题都与猫为什么盯着墙看有关。老师指出，两种输入可能得到非常相似的答案。

知识点：AI 通常能够根据上下文理解存在拼写错误的输入，不一定需要完美的语法。

五个实验案例总结

实验案例	比较条件	核心知识
Six Seven Meme	联网 vs. 不联网	知识时效性
健身房、电影、新闻	联网 vs. 不联网	动态信息检索
Gray Market Peptides	Web Search vs. Deep Research	研究深度与来源
Monster Truck	有合同 vs. 无合同	Context 的作用
Cat Staring at Walls	错误拼写 vs. 正确拼写	AI 的语义理解能力

四、如何正确开展模型比较实验？

以下为根据课程实验补充的通用方法。

4.1 Control Variables（控制变量）

为了让比较更加公平，应尽量保持以下条件一致：

使用相同 Prompt。
使用相同的背景资料。
明确是否开启 Web Search。
明确是否使用 Deep Research。
尽量避免之前的对话影响结果。
记录模型名称、版本及测试时间。

例如：如果 Model A 能够联网，而 Model B 无法联网，那么最新新闻问题的结果差异就不一定来自模型本身的知识能力。

4.2 Evaluation Criteria（评价标准）

可以使用以下评分表：

评价维度	评分范围	说明
Accuracy	1--5	事实是否准确
Relevance	1--5	是否回答问题
Completeness	1--5	是否覆盖主要要求
Clarity	1--5	是否清晰易懂
Source Quality	1--5	来源是否可靠
Instruction Following	1--5	是否遵循 Prompt

这张表是我的补充设计，并非官方实验的评分标准。

4.3 如何记录实验结果？

建议使用以下 Markdown 表格：

测试项目	条件 A	条件 B	主要差异
近期网络梗	不联网	联网	是否掌握最新信息
复杂研究	Web Search	Deep Research	分析深度和来源
租赁合同	不上传	上传	回答是否考虑具体条款
拼写错误	错误拼写	正确拼写	理解是否受到影响

不要只记录哪个答案更长，而要记录哪个答案更符合任务要求、证据是否可靠。

五、实践练习

Exercise 1：比较联网与不联网

分别测试：

复制代码

What are the most important
AI developments this week?

记录两种模式的回答，并比较：

是否包含最新事件？
是否提供来源？
事件日期是否准确？
是否出现无法验证的信息？

Exercise 2：比较 Web Search 与 Deep Research

使用同一个研究问题：

复制代码

How does artificial intelligence
affect university education?

Use reliable research sources.

Discuss:
1. Learning outcomes
2. Academic integrity
3. Teaching efficiency
4. Long-term challenges

分别使用 Web Search 和 Deep Research，比较报告的完整性、证据质量与分析深度。

Exercise 3：测试 Context 的作用

第一次提问：

复制代码

Help me choose the best laptop
for my studies.

第二次增加背景：

复制代码

I am a university student.

My main tasks are:
- Python programming
- Machine learning experiments
- Academic writing
- Data analysis

My budget is $1,200.

Compare suitable laptop options
and explain the trade-offs.

观察增加 Context 后，建议是否更加具体。

以上为教学补充练习，不是官方实验题目的逐字复制。

六、重要英文术语

English	中文	解释
AI Model Prompt Comparison	AI 模型提示词比较	比较不同设置或模型下的回答
Lab	实验	通过实际操作验证知识
Pretrained Knowledge	预训练知识	模型训练中学习到的知识
Web Search	联网搜索	检索外部网络信息
Deep Research	深度研究	多步骤搜索与分析
Context	上下文	模型回答所需的背景资料
Model Output	模型输出	AI 生成的回答
Control Variables	控制变量	保持实验条件一致
Evaluation Criteria	评价标准	判断输出质量的依据
Accuracy	准确性	信息是否正确
Completeness	完整性	是否覆盖任务要求
Instruction Following	指令遵循	是否按要求完成任务
Source Quality	来源质量	证据是否可靠
Lease Agreement	租赁合同	规定租赁关系与使用条件的文件
Follow-up Prompt	后续提示词	在已有回答基础上继续提问