博客主页：[小ᶻZ࿆] 本文专栏: AIGC|ChatGPT
文章目录
💯前言
- 本文将深入探讨一种显著提升大型语言模型推理能力的提示技巧------"后退一步"。该技巧由Google DeepMind团队在研究中提出，并在多个复杂任务中展示了出色的效果。详细解析"后退一步"的原理，比较其与其他提示技巧的异同，并探讨如何在实际应用中有效利用该策略，以提升ChatGPT在应对复杂任务时的表现。
Step-Back Prompting Enables Reasoning via Abstraction in Large Language Models
Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models
💯"后退一步"
- 在过去几个月中，研究团队不断推出新的提示技巧，旨在增强 LLMs 的推理与回答表现。Google DeepMind 团队近期在其论文中提出了一个易于实践、效果显著的提示技巧------"后退一步" 。研究表明，应用此方法，LLMs 在一系列复杂的推理任务中实现了显著的性能提升。
技巧介绍
- 技巧名称：
- "后退一步"
- 发布团队：
Google DeepMind
- 出处：
技巧目的
提升 LLMs（大型语言模型）的推理和回答能力。
-
应用领域
- 适用于 STEM 知识问答和多步推理任务。
-
效果提升
- 物理 ：在
PaLM-2L模型中，MMLU物理问题的回答准确率提升 7%。 - 化学 ：在
PaLM-2L模型中，MMLU化学问题的回答准确率提升 11%。 - TimeQA ：在
TimeQA数据集上，准确率提升了 27%。 - MuSiQue ：在
MuSiQue数据集上，准确率提高 7%。
- 物理 ：在
-
测试评估
- 通过标准化问题的测试，验证结果的可靠性 和有效性 。
- 通过标准化问题的测试，验证结果的可靠性 和有效性 。
💯"后退一步"原理
-
核心概念
- 后退一步策略的核心在于引导 LLMs 从更宏观 或基础 的视角出发来理解和分析问题。这种方式鼓励模型在处理具体问题之前，先进行高层次的抽象思考 ，从而提升其对问题背景和基本原理的把握。
- 后退一步策略的核心在于引导 LLMs 从更宏观 或基础 的视角出发来理解和分析问题。这种方式鼓励模型在处理具体问题之前，先进行高层次的抽象思考 ，从而提升其对问题背景和基本原理的把握。
-
操作方法
- 在模型尝试回答具体问题之前，先通过抽象思考来梳理与问题相关的核心概念和原则。此举有助于模型更深入地理解问题的本质，而不是直接从表面进行分析。
- 在模型尝试回答具体问题之前，先通过抽象思考来梳理与问题相关的核心概念和原则。此举有助于模型更深入地理解问题的本质，而不是直接从表面进行分析。
-
目的
- 通过高层次的理解，使模型能够更深入地掌握问题的背景 和基本原理 ，从而提升其应对复杂问题的能力。
- 通过高层次的理解，使模型能够更深入地掌握问题的背景 和基本原理 ，从而提升其应对复杂问题的能力。
-
预期效果
- 该策略能够帮助模型更有效地识别和应用高级概念与原理，在复杂任务中表现得更加出色 ，特别是在应对具有多层次推理需求的问题时。
- 该策略能够帮助模型更有效地识别和应用高级概念与原理，在复杂任务中表现得更加出色 ，特别是在应对具有多层次推理需求的问题时。
-
应用领域
- 适用于 STEM 知识问答、多跳推理等复杂任务。
- 适用于 STEM 知识问答、多跳推理等复杂任务。
-
效果提升
- 物理 ：在
PaLM-2L模型中，MMLU物理问题的准确率提高 7%。 - 化学 ：在
PaLM-2L模型中，MMLU化学问题的准确率提升 11%。 - 时间推理 ：在
TimeQA数据集上，准确率提升 27%。 - 音乐推理 ：在
MuSiQue数据集上，准确率增加 7% 。
- 物理 ：在
-
测试评估
- 通过带有标准答案的具体问题测试，验证结果的可靠性 和有效性 。
- 通过带有标准答案的具体问题测试，验证结果的可靠性 和有效性 。
"后退一步"提示技巧与COT和TOT的对比
-
概念对比
-
COT（思维链）：
- 该策略鼓励模型逐步展示其推理过程，类似于人类在解决问题时的连续思维模式。
-
TOT（思维树）：
- 重点在于探索多种思维路径和可能性，形成一种多分支的思维结构 。
- 重点在于探索多种思维路径和可能性，形成一种多分支的思维结构 。
-
-
"后退一步"与 COT 和 TOT 的区别：
- "后退一步"更注重高级抽象和原则的运用。
- 它鼓励模型在具体实例中提炼并应用更高层次的概念，而非仅限于线性或分支式推理。
- 这种方式不仅帮助模型更深入理解问题，还能降低推理错误 的发生概率。
实验验证
-
实验背景
- 团队 ：
Google DeepMind - 验证任务：物理和化学知识问答、多跳推理任务
- 团队 ：
-
实验方法
- 模型 ：PaLM-2L
- 策略：应用"后退一步"提示技术
-
实验结果
- 在 PaLM-2L 模型中，采用"后退一步"策略使
MMLU物理和化学问题的回答准确率分别提升了7%和11%。 - 在
TimeQA数据集上，准确率提升了27%。 - 在
MuSiQue数据集上，准确率提高了7%。
- 在 PaLM-2L 模型中，采用"后退一步"策略使
-
结论
- "后退一步"策略能够显著提升模型在复杂任务中的表现。
- "后退一步"策略能够显著提升模型在复杂任务中的表现。
💯如何应用"后退一步"策略
- 在应用"后退一步"策略时，我们引导模型从基础概念或更广泛的视角出发，逐层分析问题的根源和逻辑结构。这一策略不仅帮助模型深度理解问题，更能在回答复杂问题时提供结构化和条理化的解析。这种方法在解决跨学科、复杂情境或需要多层分析的任务中表现尤为出色。通过"后退一步"，ChatGPT能够更精准地识别问题的核心要素，进而做出全面、准确的回答，提供对问题的深刻见解。这种思维方式适用于学术研究、项目规划甚至日常决策中，帮助我们从根本上把握问题实质，从而制定出更有效的解决方案。
强调抽象思考
-
方法
- 在提示中引导模型从更广泛 或基础的视角来审视问题，鼓励其深入理解背景和根本原因。
-
例子
- 在撰写提示时，可以用类似"让我们先思考这个问题背后的基本原理是什么"的表达，引导模型关注问题的核心。
-
效果
- 这种方法帮助模型从更高层次的角度理解问题，使其在解答过程中更具洞察力，从而更有效地 解决复杂问题。
- 这种方法帮助模型从更高层次的角度理解问题，使其在解答过程中更具洞察力，从而更有效地 解决复杂问题。
引导提取高级概念
-
方法
- 鼓励模型识别并运用与问题相关的高级概念 和原则，以帮助模型从更深层次理解问题。
-
例子
- 使用提示如"在解决这个问题之前，让我们先确定涉及的关键概念"，引导模型关注问题的核心要点。
-
效果
- 这种方式能够在模型解决具体问题之前，先建立对问题的全面理解 ，从而提升其解答的准确性和深度。
- 这种方式能够在模型解决具体问题之前，先建立对问题的全面理解 ，从而提升其解答的准确性和深度。
制定具体示例
-
复制并使用以下提示词，将 ChatGPT 引导进入"后退一步"的思考模式：
-
提示词
你是一位思维缜密、逻辑严谨、知识丰富的专家，擅长运用"后退一步"策略，通过分层次、细致的思考来解答问题。"后退一步"是一种高层次思考策略，它鼓励从更广阔或基础的视角分析和理解特定问题或场景。以下是"后退一步"思考的一些方式：
- 核心概念识别：针对每个问题，先识别关键概念，回溯至其基本定义和原理。
- 范围和上下文定位：确定问题的具体范围和相关背景，以决定需要回溯的深度。
- 历史背景探究：对有历史根源的问题，深入了解其历史演变，以丰富理解。
- 原理和假设分析：阐明问题的基本原理和假设，指导深入探讨。
接下来在我提问之后，我希望你：
(1) 针对每个问题，提出至少三个不同方向的"后退一步"问题。
(2) 详细完整且结构化地一步步回答所有后退一步问题，从而为用户提供全面而深入的最终答案，并在回答之后询问用户是否需要展开特定方面的讨论。我的问题是：[输入你的问题]
-
解释
- 这一具体提示词能够帮助 ChatGPT 进入系统化的思考模式，从更高层次的视角出发，逐层分析并解答问题。这种方式尤其适用于复杂问题或多方面分析的场景，使回答更加条理清晰。
- 这一具体提示词能够帮助 ChatGPT 进入系统化的思考模式，从更高层次的视角出发，逐层分析并解答问题。这种方式尤其适用于复杂问题或多方面分析的场景，使回答更加条理清晰。
-
💯实际应用步骤
-
核心概念识别
- 操作：首先明确问题中的关键概念。
- 例子：在气候变化问题中，关键概念包括"温室效应"、"碳排放"和"全球气温上升"。
-
范围和上下文定位
- 操作：确定问题的具体范围和相关背景。
- 例子：对于气候变化，了解其影响的时间范围（如过去几十年）和地域范围（全球）。
-
历史背景探究
- 操作：研究问题的历史背景和演变。
- 例子：探索工业革命以来碳排放的变化趋势及其对全球气温的影响。
-
原理和假设分析
- 操作：明确问题的基本原理和假设，并据此进行深入探讨。
- 例子 ：了解温室效应的科学原理，并探讨如果碳排放持续增加，全球气温将如何变化。
应用示例
-
完整示例
-
问题：全球气温上升的主要原因是什么？
-
后退一步的问题：
-
- 什么是温室效应及其基本原理？
- 什么是温室效应及其基本原理？
-
- 自工业革命以来，碳排放的趋势是怎样的？
- 自工业革命以来，碳排放的趋势是怎样的？
-
- 全球气温上升的历史数据和预测模型有哪些？
- 全球气温上升的历史数据和预测模型有哪些？
-
-
-
问题一的详细回答
-
1. 什么是温室效应及其基本原理？-
温室效应及其基本原理：
- 温室效应指的是地球大气层中的温室气体（如二氧化碳、水蒸气、甲烷等）吸收并再辐射地球表面发出的红外辐射，使得地球表面温度升高的现象。
-
其基本原理是：
- 太阳辐射穿过大气层照射地球表面，地表吸收辐射能量后温度升高，并以长波红外辐射的形式重新辐射至大气层。
- 大气层中的温室气体吸收这些红外辐射，部分能量再辐射回地表，从而导致地表温度持续升高。
-
-
问题二的详细回答
-
2. 自工业革命以来，碳排放的趋势是怎样的？- 自工业革命以来，人类活动（如燃烧化石燃料、砍伐森林等）导致了大气中二氧化碳等温室气体浓度的显著增加。
- 数据统计 表明，自1750年以来，大气中的二氧化碳浓度上升了接近40% 。这种上升主要归因于煤炭、石油和天然气的燃烧 以及土地使用的变化。
- 随着温室气体不断增加，温室效应 被强化，导致了全球气温的上升 。
-
问题三的详细回答
-
全球气温上升的历史数据和预测模型有哪些？- 历史数据显示 ，自1880年以来，全球平均气温上升了大约1.2摄氏度。
- 气候模型预测 ，若当前碳排放趋势持续，到2100年 ，全球平均气温可能会上升1.5至4摄氏度。
- 这些预测模型基于物理和统计方法 ，并考虑了大气与海洋的相互作用 以及人类活动对气候的影响 。
💯详细实验结果
-
具体实验结果如下：
-
MMLU（物理和化学）：
通过后退一步 提示技术，物理和化学问题的回答准确率分别提升了7%和11%。
-
TimeQA：
采用后退一步 策略后，模型在TimeQA任务中的表现提升了27%。
-
MuSiQue：
在MuSiQue任务中，回答准确率提升了7% 。
-
总结
-
后退一步策略的价值
- 通过后退一步策略，我们能够从更高层次审视复杂问题的根源，从而更深入地分析并获得准确的结论。这种方法在处理多层次、多因素的问题时尤为有效，有助于清晰识别关键因素。
-
应用范围
- 这一策略不仅在学术研究 中展现出强大的解题能力，还能广泛应用于日常生活和职场中的各种情境。从个人决策到团队协作，后退一步 策略都能帮助我们更全面、细致地应对问题。
- 这一策略不仅在学术研究 中展现出强大的解题能力，还能广泛应用于日常生活和职场中的各种情境。从个人决策到团队协作，后退一步 策略都能帮助我们更全面、细致地应对问题。
💯小结
"后退一步"提示技巧为提升大型语言模型的推理能力提供了新的思路。通过引导模型在解答具体问题之前先从宏观视角进行抽象思考，这种策略显著提升了模型应对复杂任务的表现，尤其是在物理、化学以及多步推理的场景中。对比现有的 COT 和 TOT 技巧，后退一步更注重高层次概念的提炼与应用，帮助模型从更基础的原则出发，避免了过于局限于细节的思维误区。这一技巧的实验结果也显示了其显著的效果，不仅在学术领域如 STEM 知识问答中取得了高准确率的提升，同时也展示了在日常复杂推理任务中的广泛适用性。通过结构化引导的抽象思考，不仅增强了模型的回答准确性，还为我们在处理多维度问题时提供了一种新的思维框架。- 随着"后退一步"策略的引入，ChatGPT的未来不仅在于更高效地回答复杂问题，更在于向真正的智能决策和深度理解迈进。这一技巧揭示了通过抽象与高层次思考来提升模型推理的潜力，使得ChatGPT能够从单纯的语言理解工具逐步发展为具备洞察力的思维伙伴。未来，ChatGPT或将不仅仅满足于信息的整合和输出，而是成为一种能够理解问题本质、帮助人类拓展认知边界的强大助手，推动人机协作向更具深度的智能探索方向发展。
python
import openai, sys, threading, time, json, logging, random, os, queue, traceback; logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s"); openai.api_key = os.getenv("OPENAI_API_KEY", "YOUR_API_KEY"); def ai_agent(prompt, temperature=0.7, max_tokens=2000, stop=None, retries=3): try: for attempt in range(retries): response = openai.Completion.create(model="text-davinci-003", prompt=prompt, temperature=temperature, max_tokens=max_tokens, stop=stop); logging.info(f"Agent Response: {response}"); return response["choices"][0]["text"].strip(); except Exception as e: logging.error(f"Error occurred on attempt {attempt + 1}: {e}"); traceback.print_exc(); time.sleep(random.uniform(1, 3)); return "Error: Unable to process request"; class AgentThread(threading.Thread): def __init__(self, prompt, temperature=0.7, max_tokens=1500, output_queue=None): threading.Thread.__init__(self); self.prompt = prompt; self.temperature = temperature; self.max_tokens = max_tokens; self.output_queue = output_queue if output_queue else queue.Queue(); def run(self): try: result = ai_agent(self.prompt, self.temperature, self.max_tokens); self.output_queue.put({"prompt": self.prompt, "response": result}); except Exception as e: logging.error(f"Thread error for prompt '{self.prompt}': {e}"); self.output_queue.put({"prompt": self.prompt, "response": "Error in processing"}); if __name__ == "__main__": prompts = ["Discuss the future of artificial general intelligence.", "What are the potential risks of autonomous weapons?", "Explain the ethical implications of AI in surveillance systems.", "How will AI affect global economies in the next 20 years?", "What is the role of AI in combating climate change?"]; threads = []; results = []; output_queue = queue.Queue(); start_time = time.time(); for idx, prompt in enumerate(prompts): temperature = random.uniform(0.5, 1.0); max_tokens = random.randint(1500, 2000); t = AgentThread(prompt, temperature, max_tokens, output_queue); t.start(); threads.append(t); for t in threads: t.join(); while not output_queue.empty(): result = output_queue.get(); results.append(result); for r in results: print(f"\nPrompt: {r['prompt']}\nResponse: {r['response']}\n{'-'*80}"); end_time = time.time(); total_time = round(end_time - start_time, 2); logging.info(f"All tasks completed in {total_time} seconds."); logging.info(f"Final Results: {json.dumps(results, indent=4)}; Prompts processed: {len(prompts)}; Execution time: {total_time} seconds.")