【MLLM】GraphWalker:Deepresearch用于图像生成

note

  • 思路是用于图像生成的多模态深度搜索智能体,进行多跳推理与搜索,以获取图像生成所需的文本知识和参考图像,结论是在KnowGen上使Qwen-Image性能提高约16分,在WISE上提高约15分。
  • 这也是一种应用型的工作,本质还是在做图片生成方向的上下文扩充,优化prompt和参考图片。

文章目录

一、GraphWalker:Deepresearch用于图像生成

【Deepresearch用于图像生成思路】思路是用于图像生成的多模态深度搜索智能体,进行多跳推理与搜索,以获取图像生成所需的文本知识和参考图像,结论是在KnowGen上使Qwen-Image性能提高约16分,在WISE上提高约15分。GraphWalker: Agentic Knowledge Graph Question Answer-ing via Synthetic Trajectory Curriculum,https://arxiv.org/pdf/2603.28533,https://gen-searcher.verce,

1)实现思路:

  • 三类工具:
    • search【网络文本搜索,获取事实信息】
    • image_search【图像检索,获取视觉特征参考】
    • browse【网页精读,提取深层证据】;
  • 两阶段训练:
    • SFT监督微调【在Gen‑Searcher‑SFT‑10k训练,掌握基础工具使用】
    • AgenticRL强化学习【用GRPO优化搜索轨迹,仅用图像奖励受生成器能力与随机性影响,方差大、不稳定,仅用文本奖励忽略信息对图像生成的实际价值,所以用双奖励机制:最终奖励R=(1−α)R_image+αR_text,α=0.5。
      • 文本奖励评估信息完整性
      • 图像奖励用K‑Score加权评分(忠实度0.1+视觉正确性0.4+文本准确性0.4+美学0.1)】;

2)数据合成思路:

Agent轨迹合成【search用于从网络中检索文本信息,image_search用于通过文本查询搜索相关图像,以及browse用于阅读和分析已检索网页的详细内容。在此过程中,智能体持续分析来自环境的文本和视觉反馈,识别出有用的证据和参考图像,并据此规划下一步动作。通过这一多轮推理与搜索流程,智能体逐步从多个来源聚合信息,最终生成一个基于证据的提示以及一组适用于图像合成的相关参考图像】

->图像生成【在获得最终的有根据提示和视觉参考后,使用专有的图像生成模型NanoBananaPro合成相应的图像】;

->数据过滤【使用Seed1.8从多个角度对生成的样本进行评分,包括提示是否真正需要搜索、生成内容的正确性、与提示的一致性、视觉美感、文本渲染清晰度以及安全考虑。与基于规则的过滤相结合,例如移除token长度过长或搜索结果不一致的提示】。

Reference

1 GraphWalker: Agentic Knowledge Graph Question Answer-ing via Synthetic Trajectory Curriculum,https://arxiv.org/pdf/2603.28533,https://gen-searcher.verce,

相关推荐
带娃的IT创业者7 小时前
Kimi-K3 开源背后:2.8 万亿参数的“暴力美学”与智能体的新拐点
人工智能·开源·大模型·智能体·开源模型·kimi-k3·moonshot ai
VIP_CQCRE10 小时前
用 Ace Data Cloud 快速接入 OpenAI Chat Completions API:兼容官方格式,更适合开发者落地
ai·大模型·openai·api·ace data cloud
卷心菜的学习路13 小时前
基于多模态向量检索的数学相似题推荐系统:完整设计、算法与实验
java·python·算法·大模型·推荐算法·数学相似题
thesky12345614 小时前
27届大模型面试准备(二十一):MoE 架构全攻略——稀疏激活、路由、负载均衡与专家并行
大模型·负载均衡·moe·deepseek·混合专家·专家并行·稀疏激活
tachibana215 小时前
知识库文档上传接口
数据库·人工智能·大模型·llm
@Mr_LiuYang16 小时前
《深入理解 AI Agent:设计原理与工程实践 》实验2-2 2-7 大模型注意力权重分布可视化
人工智能·大模型·agent·注意力机制
落子AI1 天前
智谱GLM-4.5编程智能体深度实测:355B MoE架构如何重塑AI编程体验
大模型·ai编程·智能体·glm-4.5·ai工具推荐
thesky1234561 天前
27届大模型面试准备(十九):模型量化全攻略——INT8/INT4、GPTQ、AWQ、SmoothQuant 与 KV Cache 量化
大模型·模型量化·gptq·awq·kv cache·smoothquant·int4
深圳市快瞳科技有限公司1 天前
个体识别、行为解读、健康管理:多模态宠物AI大模型的场景化落地
人工智能·算法·计算机视觉·大模型·多模态·宠物·宠物ai识别
安逸sgr1 天前
AI 编程工具在真实项目中适合做什么?不适合做什么?
人工智能·ai·大模型·agent·智能体