文章目录
-
-
- [A 论文出处](#A 论文出处)
- [B 背景](#B 背景)
-
- [B.1 背景介绍](#B.1 背景介绍)
- [B.2 问题提出](#B.2 问题提出)
- [B.3 创新点](#B.3 创新点)
- [C 模型结构](#C 模型结构)
-
- [C.1 数据生成](#C.1 数据生成)
- [C.2 LLM训练](#C.2 LLM训练)
- [D 实验设计](#D 实验设计)
- [E 个人总结](#E 个人总结)
-
A 论文出处
- 论文题目：Disentangling Memory and Reasoning Ability in Large Language Models
- 发表情况：2025-ACL
B 背景
B.1 背景介绍
当前提升大语言模型（LLM）推理能力的研究方法主要可划分为两类：
（1）基于记忆增强 的方法。该方法聚焦于优化模型对外部世界知识的检索与利用机制 ，尤其针对未内化于模型参数的知识体系，例如检索增强生成（Retrieval-Augmented Generation, RAG），通过动态接入外部知识库强化信息召回能力。
（2）基于推理优化 的方法。该方法旨在改进模型自身的逻辑推演 过程，例如引入思维链 （Chain-of-Thought, CoT）技术引导多步推理，或在训练阶段植入结构化引导标记（如planning tokens）以提升推理路径的规划性。
尽管上述方法在特定场景下展现出性能增益，其仍存在显著局限：当面对需深度融合多源记忆与复杂逻辑链的综合性问题时（如跨领域知识关联、长程因果推断等），现有技术的效能仍显不足。这类任务要求模型协同调度记忆检索与知识推理能力，而当前方案尚未有效弥合两类机制间的协同鸿沟。
B.2 问题提出
尽管大语言模型（LLMs）在依赖外部知识与复杂推理的任务中展现出显著效能，现有推理框架存在根本性局限：这种框架并未实现知识检索（knowledge retrieval）与逻辑推演（logical reasoning）的模块化隔离。这种耦合架构导致两个关键缺陷：
（1）可追溯性缺失：无法明确辨识模型调用的具体知识源及其在推理路径中的效用机制；
（2）认知风险加剧：面对高复杂度问题时，未显式关联推理步骤与支撑知识，容易引发知识连续性中断（如关键信息遗漏）及事实性幻觉（factual hallucination）。
B.3 创新点
本文提出推理解耦 框架，将LLM推理解构为记忆-推理双阶段，对问答数据集所有应答句进行记忆/推理分类，并添加可学习的控制标记<memory>或<reason>。这种机制强制模型显式执行知识检索（记忆阶段）与逻辑推演（推理阶段），通过结构化引导规避混合处理导致的知识遗忘与幻觉风险。
C 模型结构
C.1 数据生成
针对所选 QA 基准数据集的训练集，首先使用 inference LLM (gpt4o) 生成 CoT 推理步骤，将那些需要事实信息的步骤前放置 [rag] 作为 memory 的标记，将那些需要推理的步骤前放置 [reason] 作为 reason 的标记，需要注意的是，prompt 中指定如果是 memory 部分，则输出能够用于检索的知识的 question 文本。然后使用 Knowledge LLM 回答上一步中的 question，并将其回答内容用于替换 question。
C.2 LLM训练
通过LoRA进行微调，每条数据 T 包含如下组成部分：
- 问题 。 Q = q 1 , q 2 , ⋯ , q n Q Q={q_1,q_2,⋯,q_{n_Q}} Q=q1,q2,⋯,qnQ，其中每个 q i q_i qi 表示问题的每个 token， n Q n_Q nQ 则是问题 prompt 中 token 的个数；
- 思考过程 。包含一系列 memory 和 reason 的过程，其中 memory 的形式为 { ⟨ m e m o r y ⟩ , k 1 , k 2 , ⋯ , k n K } \{⟨memory⟩,k_1,k_2,⋯,k_{n_K}\} {⟨memory⟩,k1,k2,⋯,knK} ，reason 的形式为 { ⟨ r e a s o n ⟩ , s 1 , s 2 , ⋯ , s n S } \{⟨reason⟩,s_1,s_2,⋯,s_{n_S}\} {⟨reason⟩,s1,s2,⋯,snS} ；
- 答案。对于 StrategyQA 则为 true 或者 false，commonsenseQA 以及 truthfulQA 则为单项选择题。
D 实验设计
（1）使用相同的数据，分别通过Zero-shot、CoT、LoRA、Planning-token和本文的方法对大模型进行训练，实验对比如下。
（2）消融实验，本文提出的memory和reason标记的有效性
E 个人总结
（1）本文通过强制模型分阶段执行知识检索（<memory>）与逻辑推演（<reason>），显著降低记忆偏差对推理链的干扰。同时标记化机制使知识调用路径透明化，支持溯源分析；
（2）但当前单轮QA的验证框架尚未证明其在多轮对话中维持知识连贯性的能力，跨轮次知识调度机制需进一步探索。