【大模型理论篇】DeepResearcher论文分析-通过在真实环境中的强化学习实现深度研究

1. 背景与问题

大模型(LLMs)配合网络搜索功能已经展现出在深度研究任务中的巨大潜力。然而,目前的方法主要依赖两种途径:

  • 人工设计的提示工程(Prompt Engineering):这种方法依靠手动设计的工作流程,表现往往不稳定且难以适应复杂场景。
  • 受控RAG环境中的强化学习:在受控检索增强生成(RAG)环境中进行训练,无法捕捉真实世界交互的复杂性。

这些方法存在的关键问题包括:

  1. 基于提示工程的方法遵循开发者设计的预定义工作流程,行为模式严格,难以适应复杂的研究场景。
  2. 基于RAG环境的强化学习方法假设所有必要信息都存在于固定语料库中,忽略了真实世界网络搜索的动态特性。

研究挑战:如何开发能够在真实网络环境中进行深度研究的AI系统,克服搜索引擎限制、网络延迟、反爬虫机制和多样化网页结构等实际挑战?

以下是关于DeepReseacher相关的两篇分享:

Search-R1: 通过强化学习训练LLM推理与利⽤搜索引擎

R1-Searcher:通过强化学习激励llm的搜索能⼒

而DeepResearcher号称强于R1-Searcher以及Search-R1,如图所示:

2. DeepResearcher的工作流程

  1. 问题分析并生成初始搜索查询
  2. 执行网络搜索获取结果
  3. 浏览Agent从网页提取相关信息
  4. 主Agent分析信息,决定是否需要进一步搜索
  5. 迭代搜索-分析过程直至找到答案
  6. 生成最终答案

3. DeepResearcher方法论

DeepResearcher是通过在真实网络环境中进行端到端强化学习训练的深度研究框架,其核心特点包括:

3.1 端到端强化学习框架

  • 采用GRPO(Group Relative Policy Optimization)算法,通过直接与真实网络搜索引擎交互来训练代理。
  • 不依赖人类先验知识,让模型自主发现解决问题的策略。
  • 使用F1分数作为主要奖励指标,引导代理持续提升性能。

2.2 多智能体架构

DeepResearcher采用专门的多智能体架构,包括:

  • 主研究代理:处理问题分析和搜索策略。
  • 专门的浏览代理:负责从整个网页提取相关信息。
  • 智能体间协作:通过信息共享实现有效的知识提取和整合。

2.3 解决真实⽹络环境挑战

2.4 数据集构建

为确保训练过程中模型真正学会利⽤⽹络搜索⼯具,研究者采取了综合数据处理策略:

  • 利⽤开放域问答数据集,包括单跳问题(NaturalQuestions、TriviaQA)和多跳问题(HotpotQA、2WikiMultiHopQA)。
  • 实施严格的数据清洗和污染检测,剔除时间敏感问题、⾼度主观查询和潜在有害内容。
  • 通过随机抽样检测确保模型没有记忆答案,⽽是真正学习搜索策略。

最终构建了80,000个训练样例,刻意强调多跳场景(75%的样例),更好地反映复杂信息搜索⾏为。

3. DeepResearcher与其他框架对⽐

核心区别总结

4. DeepResearcher的主要优势

4.1 技术优势

  • 真实环境训练:在真实⽹络环境中进⾏RL训练,能够处理复杂、动态的信息源。
  • 端到端学习:不依赖⼈⼯设计的⼯作流,⽽是通过端到端训练发现⾼效策略。
  • 多智能体协作:专⻔的浏览代理提取⽹⻚信息,提⾼信息获取质量。
  • 分布式架构:克服API限制和⽹络延迟等技术挑战。
  • 强⼤的泛化能⼒:能够适应训练领域之外的新问题。

4.2 涌现的认知⾏为

通过端到端强化学习,DeepResearcher展现了多种涌现的智能⾏为:

  • 规划能⼒:能够在解决多跳问题时制定初始计划并动态调整。
  • 交叉验证:不⽴即采纳⾸次搜索结果,⽽是通过后续步骤验证其准确性。
  • ⾃我反思:当检索信息与预期不符时,能够反思并重定向研究⽅向。
  • 诚实度:当⽆法找到确定答案时能够承认局限性。

4.3 性能优势

相⽐基于提⽰⼯程的代理,DeepResearcher在研究任务完成⽅⾯提⾼了⾼达 28.9 个百分点。 相⽐基于RAG 的强化学习代理,性能提升⾼达 7.2 个百分点。 在领域内(ID )和领域外( OOD )数据集上均展现出⾊表现,证明其强⼤的泛化能⼒。 特别在需要Wikipedia 覆盖范围之外知识的 Bamboogle 基准测试中表现突出,验证了在真实世界环境训练的重要性。

5. 参考材料

【1】DeepResearcher: Scaling Deep Research via Reinforcement Learning in Real-world Environments

相关推荐
我就是全世界2 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
堆栈future3 小时前
manus终于开放啦
llm·aigc·agent
堆栈future3 小时前
在Mac上10分钟玩转LoRA微调模型
llm·openai·agent
堆栈future3 小时前
学习【北京大学】DeepSeek内部研讨系列: AI Agent与Agentic AI的原理和应用并做分享
llm·agent·deepseek
堆栈future3 小时前
揭秘 Google A2A 协议:赋能智能体协作的未来
llm·agent·mcp
文浩(楠搏万)6 小时前
用OBS Studio录制WAV音频,玩转语音克隆和文本转语音!
大模型·音视频·tts·wav·obs·声音克隆·语音录制
Mr.zwX9 小时前
【大模型】到底什么是Function Calling和MCP,以及和ReAct推理的关系是什么?
大模型·mcp协议
李师兄说大模型13 小时前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
Sherlock Ma13 小时前
百度开源文心一言4.5:论文解读和使用入门
人工智能·百度·自然语言处理·开源·大模型·文心一言·多模态
喜欢吃豆14 小时前
目前最火的agent方向-A2A快速实战构建(二): AutoGen模型集成指南:从OpenAI到本地部署的全场景LLM解决方案
后端·python·深度学习·flask·大模型