提示词工程与实践合集

LLM Power Prompting

大型语言模型本质上是一个黑箱，而提示就是我们与它沟通的唯一接口。就像我们使用自然语言与人交流一样，提示也是我们向LLM下达指令、描述任务、提供上下文的主要方式。

Zero-shot prompting（零样本提示）

直接让LLM做一件事，不提供额外支持，不提供示例

K-shot prompting（少样本提示）

提供示例（k=1,3,5等），也称为"上下文学习"（in-context learning）

少样本提示通过在提示中加入几个输入-输出示例，教会模型你期望的格式、风格或逻辑。提供的示例跟目标任务越相似，生成效果越好

Chain-of-Thought Prompting（链式思维提示）

思维链提示要求模型在给出最终答案之前，先输出推理过程。

这能大幅提高复杂问题的正确率。

多样本CoT：在提示中给出几个带推理步骤的例子。

零样本CoT：直接加上一句"让我们一步步思考"。

实践中，你可以要求模型把推理放在<reasoning>标签中，便于解析最终结果。标签名称可自定义：不一定非要用 <reasoning>，你也可以用 <think>, <step_by_step>, <推理> 等。

关键是保持前后一致，并在提示中明确说明。

适用于需要多不逻辑推理的任务编程数学

Self-consistency Prompting（自洽提示要求投票输出最常见的答案）

对同一提示多次采样（通常结合CoT）聚合最常见的答案通过模型集成减少幻觉和错误

Tool Use（工具调用委托处理）

允许LLM将任务委托给外部系统减少幻觉，提高自主性 LLM本身不能直接运行代码、查询数据库或执行系统命令。但通过工具调用（如函数调用、API集成），模型可以请求外部系统完成这些操作。

例如，在一次修复后，你可以让模型调用pytest命令来确保单元测试仍然通过。模型会生成工具调用指令，由宿主环境执行并返回结果。整个流程可通过LangChain搭建。这是构建AI Agent的基石技术。

Retrieval Augmented Generation（先查后回答）

向LLM注入上下文数据无需重新训练即可让模型保持最新知识 RAG是一种混合架构：先根据用户查询检索相关文档（如代码库、API文档、公司内部知识库），然后将检索到的内容与原始问题一起送给LLM生成答案。

RAG 是 Retrieval-Augmented Generation（检索增强生成）的缩写。

简单来说，它是目前大语言模型（如 ChatGPT、Claude、DeepSeek）非常流行的一种技术架构，旨在让 AI 模型"学会查资料"再回答问题。

RAG 解决了什么核心问题？

大语言模型（LLM）有两个固有缺陷：

知识截止日期（过时）：模型训练好后，知识就停留在那一天。例如，如果你问一个 2023 年训练的模型"2024 年世界杯冠军是谁？"，它答不上来。
产生幻觉（一本正经胡说八道）：模型有时会编造看起来很有道理但实际错误的答案。对于企业内部文档或特定领域知识，它可能完全不知道。

RAG 的解决方案 ：

不要求模型记住所有知识，而是在回答问题时，先去一个外部知识库（如谷歌、维基百科或你的公司文档）里搜索 ，找到相关片段，然后把这段话作为参考资料喂给 AI，让 AI 根据资料回答问题。

RAG 的工作流程（三个步骤）

可以把 RAG 看作一个"阅读并回答"的过程：

步骤	操作	生活类比
1. 检索 (Retrieval)	用户问一个问题。系统将问题转化为向量，去知识库（如 PDF、网站）中搜索最相关的片段。	你去图书馆或谷歌搜索资料。
2. 增强 (Augmentation)	把搜到的相关片段 + 用户的问题拼接成一个"提示词（Prompt）"。	你把找到的书本段落夹在试卷旁边。
3. 生成 (Generation)	把拼接好的提示词发给大模型，让模型阅读段落来回答。	你让朋友读那段资料，然后回答试卷上的问题。

Reflexion（反思自己答案对不对）

让LLM反思自己的输出将环境反馈重新融入上下文多轮交互："现在评价你的答案。是否正确？如果不正确，解释原因并重试。"

Additional Terminology（额外的提示词交互）

System prompt

提供给LLM的第一条消息（用户通常不可见）定义角色、规则、输出风格，系统提示用于设定模型的全局行为。

例如： "你是一只猫娘。" 系统提示在整个对话中持续生效，是控制模型风格和道德边界的有效工具。

User prompt

来自人类的实际指令

Assistant Response

LLM实际生成的内容我们前面所有示例中的提示，本质上都是用户提示。理解这三者的区别有助于设计更复杂的多轮对话流程。

Best Practices 实践建议

使用提示改进工具（如Anthropic的Prompt Improver）

https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/prompt-improver

一些平台提供自动优化提示的工具，可以尝试。

积极使用角色扮演（role prompting）增强系统提示

让模型扮演特定角色（如资深程序员、产品经理、老师）能显著提高输出的专业度和针对性。

使用清晰的标签（如<log>、<error>）分隔不同部分。

当输入包含日志、堆栈跟踪、文档等多种信息时，使用XML或Markdown标签进行结构化分隔，能帮助模型准确理解每一部分的含义。

如下这种做法比无格式拼接更可靠，模型能学会聚焦于关键信息。

明确表达你想要的（语言、技术栈、库、约束）

不要说"写一个函数"，而要说"用Python 3.10+写一个异步函数，使用aiohttp库，超时设为10秒"。分解复杂任务

如果任务很复杂，先要求模型输出步骤大纲，再分步实现。

例如："第一步：读取文件。第二步：解析JSON。第三步：......"

任务：Design and run prompts (look for all the places labeled `TODO` in the code). That should be the only thing you have to change (i.e. don't tinker with the model).

作业来源：https://github.com/yz1019117968/ai_coding_experiments/blob/main/prompt_engineering/assignment.md

意思就是，使用我们刚刚学习的写提示词的方式练习写提示词。这个仓库的TODO基本都是让你填写提示词的。很简单。

1. Chain_of_thought.py (输出思维链)

任务： 计算 3 * 12345 (mod 100) 的结果（也就是除以100的余数）。
目标： 你的 Prompt 需要引导模型先一步步思考，最后输出 Answer: 43。
如何填写 TODO：

python 复制代码

import os
import re
from dotenv import load_dotenv
from ollama import chat

load_dotenv()

NUM_RUNS_TIMES = 5

# TODO: Fill this in!
YOUR_SYSTEM_PROMPT = """
You are a helpful assistant that solves math problems step-by-step.
You always output the final answer on the last line in the format 'Answer: <number>'.
"""


USER_PROMPT = """
Solve this problem, then give the final answer on the last line as "Answer: <number>".

what is 3^{12345} (mod 100)?
"""

1. `YOUR_SYSTEM_PROMPT` (系统提示词)

对应角色： {"role": "system"}
作用： 这是设定全局规则和人格 的。它告诉模型**"你是谁"** 、"你应该遵循什么行为准则"。
可以包含的内容：
- 模型的身份（例如："你是一个数学专家"）。
- 输出格式的硬性规定（例如："只输出答案，不要解释"、"最后一行必须是 Answer: <number>"）。
- 语气或风格（例如："冷静地回答问题"、"像一位老师一样"）。
生命周期： 在整个对话过程中，这通常被认为是"指挥官"的角色，不会因为每次具体的用户提问而改变。

2. `USER_PROMPT` (用户提示词)

对应角色： {"role": "user"}
作用： 这是具体要解决的任务 。它告诉模型**"现在需要你处理的具体内容是什么"**。
可以包含的内容：
- 具体的题目、问题（例如："3 * 12345 mod 100 等于多少？"）。
- 示例输入输出（在 Few-shot 任务中通常放在这里，例如："输入 hello -> 输出 olleh"）。
- 具体的指令（例如："请反转这个单词：httpstatus"）。
生命周期： 每次对话，用户都可能问不同的问题。

2. K_shot_prompting.py (少样本提示)

任务： 翻转单词的字母顺序。
示例： 输入 httpstatus，期望输出 sutatsptth。
如何填写 TODO： 你需要给模型看几个例子（Few-shot）。

python 复制代码

import os
from dotenv import load_dotenv
from ollama import chat

load_dotenv()

NUM_RUNS_TIMES = 5

# TODO: Fill this in!
YOUR_SYSTEM_PROMPT = """
You are an expert at reversing strings. You will be given a word and you must reverse the order of its letters.
Output ONLY the reversed word. Do not output any other text or explanation.
"""

USER_PROMPT = """
Reverse the order of letters in the following word. Only output the reversed word, no other text:

httpstatus
"""

3. Rag.py (检索增强生成)

任务： 让模型根据 api_docs.txt 里的文档内容，写出正确的 Python 代码（获取用户名的 API 函数）。

需要修改的两处：

YOUR_SYSTEM_PROMPT (告诉模型用文档写代码)。
YOUR_CONTEXT_PROVIDER (从文档里提取关于 API 的内容)。

python 复制代码

# TODO: Fill this in!
YOUR_SYSTEM_PROMPT = """
You are a Python coding assistant. You will be provided with Context documentation.
Your task is to write a Python function 'fetch_user_name(user_id: str, api_key: str) -> str' based *only* on the provided Context.
Do not invent URLs or methods. Follow the API details exactly.
"""


# For this simple example
# For this coding task, validate by required snippets rather than exact string
REQUIRED_SNIPPETS = [
    "def fetch_user_name(",
    "requests.get",
    "/users/",
    "X-API-Key",
    "return",
]


# def YOUR_CONTEXT_PROVIDER(corpus: List[str]) -> List[str]:
#     """TODO: Select and return the relevant subset of documents from CORPUS for this task.

#     For example, return [] to simulate missing context, or [corpus[0]] to include the API docs.
#     """
#     return []
def YOUR_CONTEXT_PROVIDER(corpus: List[str]) -> List[str]:
    """TODO: Select and return the relevant subset of documents from CORPUS for this task."""
    # api_docs.txt 里只有一组文档，直接返回它即可。
    # 这里的逻辑是：只要文件里不是空，就把第一份文档传进去。
    if len(corpus) > 0:
        return [corpus[0]]
    return []

4. Reflection.py (反思)

任务： 这是一个密码验证函数 is_valid_password。代码先写一个初始版本，如果测试失败（比如没包含大写字母），需要通过"反思"来修正代码。

需要修改的两处：

YOUR_REFLEXION_PROMPT (告诉模型怎么反思)。
your_build_reflexion_context (把上次的错误反馈给模型)。

python 复制代码

import os
import re
from typing import Callable, List, Tuple
from dotenv import load_dotenv
from ollama import chat

load_dotenv()

NUM_RUNS_TIMES = 1

SYSTEM_PROMPT = """
You are a coding assistant. Output ONLY a single fenced Python code block that defines
the function is_valid_password(password: str) -> bool. No prose or comments.
Keep the implementation minimal.
"""

# TODO: Fill this in!
YOUR_REFLEXION_PROMPT = """
You are a code debugger. You will be given a Python function and a list of failing test cases.
Your goal is to fix the function so it passes all tests.
Output ONLY the corrected Python code within a ```python``` block.
"""

python 复制代码

def your_build_reflexion_context(prev_code: str, failures: List[str]) -> str:
    """TODO: Build the user message for the reflexion step using prev_code and failures."""
    return f"""
The previous implementation was:
```python
{prev_code}
It failed the following test cases:
{failures}

Please provide a corrected implementation of the 'is_valid_password' function.
"""

5. Self_consistency_prompting.py （投票）

任务： 解决一个数学应用题（关于骑车路程的）。要求模型运行 5 次，通过多数投票选出最一致的答案（预期是 25）。

需要修改的两处：

YOUR_SYSTEM_PROMPT` (告诉模型一步步算，最后给答案)。

python 复制代码

import os
import re
from collections import Counter
from dotenv import load_dotenv
from ollama import chat

load_dotenv()

NUM_RUNS_TIMES = 5

# TODO: Fill this in! Try to get as close to 100% correctness across all runs as possible.
YOUR_SYSTEM_PROMPT = """ You are a math problem solver. Solve the problem step-by-step. After solving, output the final answer on the last line as 'Answer: <number>'. """


USER_PROMPT = """
Solve this problem, then give the final answer on the last line as "Answer: <number>".

Henry made two stops during his 60-mile bike trip. He first stopped after 20
miles. His second stop was 15 miles before the end of the trip. How many miles
did he travel between his first and second stops?

6. Tool_calling.py (工具调用)

任务： 这个任务比较特殊。模型需要生成一个特定的 JSON 格式来调用 Python 里的函数 output_every_func_return_type，并返回该函数的结果。

需要修改的一处： YOUR_SYSTEM_PROMPT (告诉模型调用哪个工具，以及 JSON 格式是什么)。

python 复制代码

# ==========================
# Prompt scaffolding
# ==========================

# TODO: Fill this in!
YOUR_SYSTEM_PROMPT = """
You are a helpful assistant with access to a tool called "output_every_func_return_type".
This tool returns a newline-delimited list of "name: return_type" for each top-level function in the current file.

To use the tool, you must output a JSON object in the following exact format:
{"tool": "output_every_func_return_type", "args": {"file_path": ""}}

Do not output any other text. Just output the JSON object.
"""

下载并启动Ollama

还要下载两个小模型，大概10GB，如果CD盘空间不够了，可以自定义下载位置

打开高级系统设置

点击环境变量

配置下载路径，

变量名 填写：OLLAMA_MODELS
变量值 填写你想存放模型的完整路径 （例如：E:\OllamaModels 或 D:\AI\Models）

win+R打开终端，输入 ollama serve 启动

再开一个终端，输入

bash 复制代码

ollama pull llama3.1:8b
ollama pull mistral-nemo:12b

下载两个模型。

需要等一等

继续等一等

验证提示词是否有效

输入，XXXXX.py是各个文件的名称

bash 复制代码

python XXXXX.py

运行后等待一会，你可以在开了ollama的终端看到api被成功调用的显示：

然后你启动的脚本终端会输出：

1. Chain_of_thought.py (输出思维链)

跑了两次，会发现一个奇怪的现象：第一轮第三次才success，第二轮第一次就success了。

大语言模型（比如llama3.1:8b）本质上是非确定性的。即使你给它完全相同的 Prompt，每次回答也会有细微的差异。

你代码里设置了 temperature = 0.3，这决定了模型输出的随机性大小：

temperature = 0：最确定，每次回答几乎一样（但不一定是对的）。
temperature = 1.0：最随机，每次回答差异很大。
temperature = 0.3：处于两者之间，有一定随机性，但总体较稳定。

这种"跑 5 次，只要有 1 次成功就行"的设计，正是为了评估Prompt 的有效性 而不是 模型的稳定性。

一个好的 Prompt 应该让模型在大多数时候（比如 3/5 或 4/5 次）都能输出正确答案。如果每次都错，说明 Prompt 有问题；如果偶尔一次错但大部分对，说明 Prompt 没问题，只是模型的随机性导致的。

如果想提高成功率：

降低 temperature ：把 options={"temperature": 0.3} 改成 0.1 或 0.0，结果会更稳定。
优化 Prompt：在 SYSTEM 中加一些更明确的推理步骤，比如 "先计算 3 的 12345 次方模 100 的余数，然后输出"。

2. K_shot_prompting.py (少样本提示)

我测了很多次都没成功，应该是提示词写的还不够好，需要增加几个样例。

我们修改提示词：

python 复制代码

import os
from dotenv import load_dotenv
from ollama import chat

load_dotenv()

NUM_RUNS_TIMES = 5

# TODO: Fill this in!
YOUR_SYSTEM_PROMPT = """
You are an expert at reversing strings. You will be given a word and you must reverse the order of its letters.
Output ONLY the reversed word. Do not output any other text or explanation.
"""

USER_PROMPT = """
Reverse the order of letters in the word below. Only output the reversed word. No other text.

Examples:
Input: hello
Output: olleh

Input: world
Output: dlrow

Input: apple
Output: elppa

Input: httpstatus
Output: sutatsptth

Now reverse the word:
httpstatus
"""

给了充分的例子后，可以看到ollama第二次输出就成功了：

3. Rag.py (检索增强生成)

分析一下输出：

模型生成了正确的 Python 代码：
- 它正确地从 api_docs.txt 中提取了信息：
  - Base URL: https://api.example.com/v1
  - 端点: /users/{id}
  - 认证: X-API-Key 头
  - 返回: {"id": "...", "name": "..."}
- 它正确写出了一个 fetch_user_name 函数，并且使用了 requests 库。
测试通过：
- 代码里的 REQUIRED_SNIPPETS 包含：
  - def fetch_user_name
  - requests.get
  - /users/
  - X-API-Key
  - return
- 模型生成的代码里包含所有这些片段，所以测试脚本打印了 SUCCESS。

4. Reflection.py (反思)

初始代码只检查了长度和字母，缺了大写、数字和特殊字符，所以失败了。
Reflexion（反思）机制介入，把错误信息喂给了模型。
改进后的代码 正确补全了所有检查条件（has_uppercase、has_digit、has_special_char）。
最后输出 SUCCESS，说明所有测试用例都通过了。

5.Self-consistency Prompting（投票输出最常见的答案）

很明显，五次输出都是25，证明全票通过！

6. Tool_calling.py (工具调用)

模型成功生成了正确的 Tool Call JSON 格式：{'tool': 'output_every_func_return_type', 'args': {'file_path': ''}}
脚本成功执行了该工具函数，输出了文件中所有函数的返回类型列表。
最后一行打印了 SUCCESS，说明测试通过。

到此我们的实验就结束了！

提示词工程 与 实践 合集

LLM Power Prompting

Zero-shot prompting（零样本提示）

K-shot prompting（少样本提示）

Chain-of-Thought Prompting（链式思维提示）

Self-consistency Prompting（自洽提示 要求投票输出最常见的答案）

Tool Use（工具调用 委托处理）

Retrieval Augmented Generation（先查后回答）

RAG 解决了什么核心问题？

RAG 的工作流程（三个步骤）

Reflexion（反思自己答案对不对）

Additional Terminology（额外的提示词交互）

System prompt

User prompt

Assistant Response

Best Practices 实践建议

使用提示改进工具（如Anthropic的Prompt Improver）

积极使用角色扮演（role prompting）增强系统提示

使用清晰的标签（如<log>、<error>）分隔不同部分。

明确表达你想要的（语言、技术栈、库、约束）

如果任务很复杂，先要求模型输出步骤大纲，再分步实现。

任务：Design and run prompts (look for all the places labeled TODO in the code). That should be the only thing you have to change (i.e. don't tinker with the model).

1. Chain_of_thought.py (输出思维链)

1. YOUR_SYSTEM_PROMPT (系统提示词)

2. USER_PROMPT (用户提示词)

2. K_shot_prompting.py (少样本提示)

3. Rag.py (检索增强生成)

4. Reflection.py (反思)

5. Self_consistency_prompting.py （投票）

6. Tool_calling.py (工具调用)

下载并启动Ollama

验证提示词是否有效

1. Chain_of_thought.py (输出思维链)

如果想提高成功率：

2. K_shot_prompting.py (少样本提示)

3. Rag.py (检索增强生成)

4. Reflection.py (反思)

5.Self-consistency Prompting（投票输出最常见的答案）

6. Tool_calling.py (工具调用)

课程资料

提示词工程与实践合集

Self-consistency Prompting（自洽提示要求投票输出最常见的答案）

Tool Use（工具调用委托处理）

任务：Design and run prompts (look for all the places labeled `TODO` in the code). That should be the only thing you have to change (i.e. don't tinker with the model).

1. `YOUR_SYSTEM_PROMPT` (系统提示词)

2. `USER_PROMPT` (用户提示词)