media_agent 进化之路：把 Gliding Horse 的 Agent 超能力注入 ComfyUI，让图片生成自己"学会"优化
摘要 ：本文深入解析 media_agent 如何将 Gliding Horse（流马）的 Agent 超能力注入 ComfyUI，实现图片生成工作流的自我进化。涵盖技能图谱自进化、语义搜索、知识图谱、因果分析、工作区监控等七大高级能力，展示从"静态工作流"到"智能体系统"的完整进化路径。适合 ComfyUI 进阶用户、AI Agent 开发者及 AIGC 工作流优化研究者阅读。
关键词：media_agent, Gliding Horse, ComfyUI, AI Agent, 技能图谱, 工作流自进化, 语义搜索, 知识图谱, 因果引擎, AIGC
我在之前的文章里介绍过 media_agent------一个用 Rust 构建的 ComfyUI 智能 Agent 系统。它通过五层架构把自然语言理解、工作流编排和高效推理串联了起来。但很多人问："它和传统 ComfyUI 最本质的区别到底是什么？"
答案藏在 Gliding Horse（流马） 里。media_agent 不仅仅是把 ComfyUI 的执行引擎用 Rust 重写了一版，更重要的是，它把 Gliding Horse 作为 AI Agent 操作系统的全套高级认知能力------技能图谱自进化、语义搜索、知识图谱、因果分析、工作区监控------全部注入到了图像生成的工作流里。这些能力让 media_agent 不再是"执行固定 JSON 的工具"，而是一个会学习、会反思、会自己优化工作流的智能体。
今天就拆开这些高级能力，看看 media_agent 是如何让 ComfyUI 拥有"自我进化"能力的。
一、Gliding Horse 赋予的超能力清单
media_agent 完整集成了 Gliding Horse 的以下高级模块：
| 高级能力 | Gliding Horse 模块 | 在 media_agent 中的角色 |
|---|---|---|
| 技能图谱自进化 | skill_graph/evolution.rs | 自动优化节点组合，废弃低效配置 |
| 技能发现引擎 | skill_graph/discovery.rs | 自然语言意图 → 最优技能匹配 |
| Hyperspace 向量搜索 | memory/hyperspace_store.rs | 语义搜索工作流、推荐最优提示词 |
| 知识图谱存储 | knowledge_graph/store.rs | 存储模型元数据、兼容性、节点规格 |
| 因果引擎 | causal/engine.rs | 失败根因分析 + 修复建议 |
| 时间线存储 | snapshots/timeline.rs | 记录执行历史，支持回溯 |
| 工作区监控 | tools/workspace_monitor.rs | 自动感知模型、输出、模板变化 |
这些能力不是独立的功能孤岛，它们通过统一的 JSON‑LD 语义总线共享数据，让 media_agent 的"经验"可以跨任务、跨会话积累。
二、整体集成架构
#mermaid-svg-1ceFOGvHBf6poVfM{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-1ceFOGvHBf6poVfM .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-1ceFOGvHBf6poVfM .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-1ceFOGvHBf6poVfM .error-icon{fill:#552222;}#mermaid-svg-1ceFOGvHBf6poVfM .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-1ceFOGvHBf6poVfM .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-1ceFOGvHBf6poVfM .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-1ceFOGvHBf6poVfM .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-1ceFOGvHBf6poVfM .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-1ceFOGvHBf6poVfM .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-1ceFOGvHBf6poVfM .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-1ceFOGvHBf6poVfM .marker{fill:#333333;stroke:#333333;}#mermaid-svg-1ceFOGvHBf6poVfM .marker.cross{stroke:#333333;}#mermaid-svg-1ceFOGvHBf6poVfM svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-1ceFOGvHBf6poVfM p{margin:0;}#mermaid-svg-1ceFOGvHBf6poVfM .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-1ceFOGvHBf6poVfM .cluster-label text{fill:#333;}#mermaid-svg-1ceFOGvHBf6poVfM .cluster-label span{color:#333;}#mermaid-svg-1ceFOGvHBf6poVfM .cluster-label span p{background-color:transparent;}#mermaid-svg-1ceFOGvHBf6poVfM .label text,#mermaid-svg-1ceFOGvHBf6poVfM span{fill:#333;color:#333;}#mermaid-svg-1ceFOGvHBf6poVfM .node rect,#mermaid-svg-1ceFOGvHBf6poVfM .node circle,#mermaid-svg-1ceFOGvHBf6poVfM .node ellipse,#mermaid-svg-1ceFOGvHBf6poVfM .node polygon,#mermaid-svg-1ceFOGvHBf6poVfM .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-1ceFOGvHBf6poVfM .rough-node .label text,#mermaid-svg-1ceFOGvHBf6poVfM .node .label text,#mermaid-svg-1ceFOGvHBf6poVfM .image-shape .label,#mermaid-svg-1ceFOGvHBf6poVfM .icon-shape .label{text-anchor:middle;}#mermaid-svg-1ceFOGvHBf6poVfM .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-1ceFOGvHBf6poVfM .rough-node .label,#mermaid-svg-1ceFOGvHBf6poVfM .node .label,#mermaid-svg-1ceFOGvHBf6poVfM .image-shape .label,#mermaid-svg-1ceFOGvHBf6poVfM .icon-shape .label{text-align:center;}#mermaid-svg-1ceFOGvHBf6poVfM .node.clickable{cursor:pointer;}#mermaid-svg-1ceFOGvHBf6poVfM .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-1ceFOGvHBf6poVfM .arrowheadPath{fill:#333333;}#mermaid-svg-1ceFOGvHBf6poVfM .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-1ceFOGvHBf6poVfM .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-1ceFOGvHBf6poVfM .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1ceFOGvHBf6poVfM .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-1ceFOGvHBf6poVfM .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1ceFOGvHBf6poVfM .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-1ceFOGvHBf6poVfM .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-1ceFOGvHBf6poVfM .cluster text{fill:#333;}#mermaid-svg-1ceFOGvHBf6poVfM .cluster span{color:#333;}#mermaid-svg-1ceFOGvHBf6poVfM div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-1ceFOGvHBf6poVfM .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-1ceFOGvHBf6poVfM rect.text{fill:none;stroke-width:0;}#mermaid-svg-1ceFOGvHBf6poVfM .icon-shape,#mermaid-svg-1ceFOGvHBf6poVfM .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1ceFOGvHBf6poVfM .icon-shape p,#mermaid-svg-1ceFOGvHBf6poVfM .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-1ceFOGvHBf6poVfM .icon-shape .label rect,#mermaid-svg-1ceFOGvHBf6poVfM .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1ceFOGvHBf6poVfM .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-1ceFOGvHBf6poVfM .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-1ceFOGvHBf6poVfM :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 高级认知能力
AgentEngine (Gliding Horse 内核)
用户交互
执行后端
stable-diffusion.cpp
llama.cpp
本地处理器
自然语言指令
SupervisorAgent
任务解析 + 调度
PA / DA / CA / AA
Skill Graph
技能图谱 + 自进化
Discovery Engine
5W2H 技能发现
Hyperspace Store
语义向量搜索
Knowledge Graph
模型/节点知识库
Causal Engine
根因分析
Workspace Monitor
文件感知
AgentEngine 通过统一的 MemoryManager、EventBus 和 SPARQL 查询与所有高级模块通信。上层 SA（调度器）在解析用户意图后，自动调用技能发现、语义搜索和知识图谱来组装最优工作流。
三、技能图谱自进化：让工作流越用越聪明
传统的 ComfyUI 工作流是静态的 JSON 文件，节点的连接方式完全由人决定。media_agent 则为每个工作流节点和参数组合建立了技能图谱。每一个技能都是一个 JSON‑LD 节点，记录着它的前置依赖、成功率、平均耗时、适用场景等信息。
一个文生图技能的定义长这样：
json
{
"@context": "https://comfyui.ai/skills",
"@id": "skill:text_to_image_base",
"@type": "Skill",
"name": "基础文生图",
"w2h": {
"what": "generate image from text",
"why": "create visual content",
"how_approach": "diffusion sampling"
},
"nodes": ["CheckpointLoaderSimple", "CLIPTextEncode", "KSampler", "VAEDecode"],
"success_rate": 0.92,
"avg_tokens": 1500,
"links": [
{"type": "prerequisite", "target": "skill:load_checkpoint"},
{"type": "composed_of", "target": "skill:encode_prompt"},
{"type": "suggests", "target": "skill:euler_sampler", "weight": 0.85},
{"type": "suggests", "target": "skill:dpmpp_2m_sampler", "weight": 0.90}
]
}技能图谱具备 6 种链接类型 ：prerequisite（前置依赖）、composed_of（组合关系）、variant（变体）、deprecated_by（废弃）、conflicts_with（冲突）、suggests（推荐）。这些链接不是人手工标注的，而是由 SkillEvolutionEngine 基于实际运行数据自动生成和更新的。
自进化流程如下：
#mermaid-svg-mE5BCGq6DAXSinIt{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-mE5BCGq6DAXSinIt .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-mE5BCGq6DAXSinIt .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-mE5BCGq6DAXSinIt .error-icon{fill:#552222;}#mermaid-svg-mE5BCGq6DAXSinIt .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-mE5BCGq6DAXSinIt .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-mE5BCGq6DAXSinIt .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-mE5BCGq6DAXSinIt .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-mE5BCGq6DAXSinIt .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-mE5BCGq6DAXSinIt .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-mE5BCGq6DAXSinIt .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-mE5BCGq6DAXSinIt .marker{fill:#333333;stroke:#333333;}#mermaid-svg-mE5BCGq6DAXSinIt .marker.cross{stroke:#333333;}#mermaid-svg-mE5BCGq6DAXSinIt svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-mE5BCGq6DAXSinIt p{margin:0;}#mermaid-svg-mE5BCGq6DAXSinIt .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-mE5BCGq6DAXSinIt .cluster-label text{fill:#333;}#mermaid-svg-mE5BCGq6DAXSinIt .cluster-label span{color:#333;}#mermaid-svg-mE5BCGq6DAXSinIt .cluster-label span p{background-color:transparent;}#mermaid-svg-mE5BCGq6DAXSinIt .label text,#mermaid-svg-mE5BCGq6DAXSinIt span{fill:#333;color:#333;}#mermaid-svg-mE5BCGq6DAXSinIt .node rect,#mermaid-svg-mE5BCGq6DAXSinIt .node circle,#mermaid-svg-mE5BCGq6DAXSinIt .node ellipse,#mermaid-svg-mE5BCGq6DAXSinIt .node polygon,#mermaid-svg-mE5BCGq6DAXSinIt .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-mE5BCGq6DAXSinIt .rough-node .label text,#mermaid-svg-mE5BCGq6DAXSinIt .node .label text,#mermaid-svg-mE5BCGq6DAXSinIt .image-shape .label,#mermaid-svg-mE5BCGq6DAXSinIt .icon-shape .label{text-anchor:middle;}#mermaid-svg-mE5BCGq6DAXSinIt .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-mE5BCGq6DAXSinIt .rough-node .label,#mermaid-svg-mE5BCGq6DAXSinIt .node .label,#mermaid-svg-mE5BCGq6DAXSinIt .image-shape .label,#mermaid-svg-mE5BCGq6DAXSinIt .icon-shape .label{text-align:center;}#mermaid-svg-mE5BCGq6DAXSinIt .node.clickable{cursor:pointer;}#mermaid-svg-mE5BCGq6DAXSinIt .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-mE5BCGq6DAXSinIt .arrowheadPath{fill:#333333;}#mermaid-svg-mE5BCGq6DAXSinIt .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-mE5BCGq6DAXSinIt .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-mE5BCGq6DAXSinIt .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-mE5BCGq6DAXSinIt .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-mE5BCGq6DAXSinIt .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-mE5BCGq6DAXSinIt .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-mE5BCGq6DAXSinIt .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-mE5BCGq6DAXSinIt .cluster text{fill:#333;}#mermaid-svg-mE5BCGq6DAXSinIt .cluster span{color:#333;}#mermaid-svg-mE5BCGq6DAXSinIt div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-mE5BCGq6DAXSinIt .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-mE5BCGq6DAXSinIt rect.text{fill:none;stroke-width:0;}#mermaid-svg-mE5BCGq6DAXSinIt .icon-shape,#mermaid-svg-mE5BCGq6DAXSinIt .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-mE5BCGq6DAXSinIt .icon-shape p,#mermaid-svg-mE5BCGq6DAXSinIt .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-mE5BCGq6DAXSinIt .icon-shape .label rect,#mermaid-svg-mE5BCGq6DAXSinIt .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-mE5BCGq6DAXSinIt .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-mE5BCGq6DAXSinIt .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-mE5BCGq6DAXSinIt :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 用户请求 → 执行工作流
记录 UsageRecord
(成功率、耗时、输出质量)
SkillEvolutionEngine
分析使用模式
生成进化建议:
AddLink / Deprecate / Merge / Split
自动应用进化
(更新 Skill Graph)
下次请求使用优化后的技能组合
举个例子：系统发现 euler_sampler + scheduler_normal 的组合在动漫类图片上的成功率高达 94%，就会自动添加一条权重为 0.94 的 suggests 链接；如果发现某个 ControlNet 与特定模型搭配时频繁失败，就会自动添加 conflicts_with 链接，后续任务规划时主动避开。
四、技能发现引擎：从"选择困难"到"一键命中"
用户说"帮我把这张照片变成吉卜力风格，分辨率 2K"，media_agent 需要瞬间理解意图并找到最合适的技能组合。这就是 SkillDiscoveryEngine 的用武之地。
它基于 5W2H 本体 进行技能匹配：
rust
pub struct Task5W2H {
pub what: String, // "把照片变成吉卜力风格"
pub why: String, // "风格迁移"
pub who: Option<String>, // user
pub when_phase: Option<String>, // Do
pub where_context: Option<String>,
pub how_approach: Option<String>,
pub constraints: Vec<String>, // "分辨率 2K"
}引擎会同时进行结构匹配和语义搜索：结构匹配走 Skill Graph 的 BFS 路径发现，语义搜索则通过 Hyperspace 向量引擎 在已有的成功工作流模板中寻找最相似的案例。最终返回一个带权重的技能组合树，PA（计划 Agent）据此直接编译出可执行的 DAG。
五、Hyperspace 向量引擎：当 ComfyUI 学会"联想"
用户说"赛博朋克风格"时，系统不会只去找名字里带"赛博朋克"的 LoRA 或模型。HyperspaceStore 存储了所有工作流模板、提示词优化历史和模型描述的嵌入向量，支持 HNSW 近似最近邻搜索。它能理解"赛博朋克"和"霓虹灯城市"、"高科技贫民窟"在语义上的关联，从而推荐出那些描述里包含这些词汇但名字不同的资源。
此外，它还支持 Poincaré 双曲空间嵌入，专门捕捉模型和节点之间的层次关系------比如 SDXL 是 SD1.5 的升级版，而不是完全不同的模型，这种结构相似性能在兼容性检查中发挥关键作用。
六、知识图谱与因果引擎：失败不再靠猜
media_agent 用 Knowledge Graph Store 存储了完整的模型元数据、节点输入输出规格和兼容性矩阵。当工作流执行失败时，Causal Engine 会自动启动，执行贝叶斯因果推理。
比如 KSampler 失败，它会沿着依赖图回溯：是不是传入的 model 类型不对？是不是 vae 和 checkpoint 不匹配？是不是 latent 尺寸与模型要求不符？分析结果会生成结构化的诊断报告，附带修复建议，直接反馈给 CA（检查 Agent），甚至触发自动修复。
这一套组合让 media_agent 具备了"反思"能力------它不仅仅是执行，更是在理解每一次成功与失败。
七、工作区监控：模型换了，它第一个知道
你手动往 models/ 目录丢了一个新下载的 Checkpoint，或者删除了一个过期的 LoRA，media_agent 会立刻感知到。Workspace Monitor 通过文件系统事件实时监听指定目录，一旦发生变化，自动触发模型索引更新和技能图谱的关联检查。
如果某个工作流引用了刚刚被删除的模型，系统会在下一次任务规划前就标记出"缺失依赖"，而不是等到执行时再报错。
八、这些能力给 ComfyUI 带来了什么？
| 场景 | 传统 ComfyUI | media_agent (Gliding Horse 加持) |
|---|---|---|
| 工作流构建 | 手动拖拽 | 自然语言 + 自动技能发现 |
| 失败处理 | 手动查日志 | 因果引擎自动定位根因 + 修复建议 |
| 参数调优 | 凭经验抽卡 | 基于成功率统计的智能推荐 |
| 模型选择 | 翻文件夹 | 语义搜索 + 兼容性自动检查 |
| 经验积累 | 无 | 技能图谱自进化，越用越聪明 |
| 环境感知 | 无 | 文件变更实时感知，依赖自动更新 |
media_agent 不再是 ComfyUI 的"替代品"，而是它的"进化体"------保留了 ComfyUI 强大的节点生态和视觉效果，同时为它装上了一颗会学习、会反思、会自我优化的 Agent 大脑。
十、实战：用 media_agent 生成吉卜力风格图片
前面拆解了 media_agent 的七大高级能力，现在用一个完整的实战案例把它们串起来。假设你有一张普通照片，想通过自然语言指令把它变成吉卜力动画风格，分辨率 2K。下面是完整的操作流程。
10.1 安装与启动
首先确保已安装 Rust 工具链和 media_agent：
bash
# 克隆仓库
git clone https://github.com/doiito/media_agent.git
cd media_agent
# 编译（首次编译约 5-10 分钟）
cargo build --release
# 启动 Agent 服务（默认监听 127.0.0.1:8080）
cargo run --release -- serve启动后，media_agent 会自动加载内置的 29 个 JSON‑LD 工作流模板，并初始化 Gliding Horse 的 Skill Graph、Hyperspace 向量引擎和 Knowledge Graph。
10.2 发送自然语言指令
media_agent 提供 REST API 和 CLI 两种交互方式。这里用 curl 演示最直接的调用：
bash
curl -X POST http://127.0.0.1:8080/api/v1/generate \
-H "Content-Type: application/json" \
-d '{
"prompt": "把这张照片变成吉卜力风格，分辨率 2K",
"image_path": "/path/to/your/photo.jpg",
"output_path": "/path/to/output/ghibli_result.png"
}'10.3 背后发生了什么：技能发现与工作流组装
这条指令到达 media_agent 后，内部经历了以下关键步骤：
步骤 1：意图解析（SupervisorAgent）
SupervisorAgent 将自然语言指令解析为 5W2H 结构：
json
{
"what": "把照片变成吉卜力风格",
"why": "风格迁移",
"how_approach": "img2img + style transfer",
"constraints": ["分辨率 2K", "吉卜力风格"]
}步骤 2：技能发现（SkillDiscoveryEngine）
Discovery Engine 同时进行两路搜索：
- 结构匹配 ：在 Skill Graph 中 BFS 查找与"风格迁移"相关的技能路径，发现
skill:img2img_base→skill:style_transfer→skill:ghibli_filter是一条高成功率路径（成功率 0.91）。 - 语义搜索 ：在 Hyperspace 向量引擎中搜索"吉卜力风格"的嵌入向量，匹配到
ghibli_v2.safetensorsLoRA 模型和一组优化提示词模板。
两路结果合并后，返回带权重的技能组合树：
json
{
"skills": [
{"id": "skill:img2img_base", "weight": 1.0},
{"id": "skill:style_transfer", "weight": 0.95},
{"id": "skill:ghibli_filter", "weight": 0.91},
{"id": "skill:upscale_2k", "weight": 0.88}
],
"recommended_loras": ["ghibli_v2.safetensors"],
"recommended_sampler": "dpmpp_2m",
"recommended_cfg": 7.0
}步骤 3：工作流编译（PA - Plan Agent）
PA 将技能组合树编译为可执行的 DAG（有向无环图），自动插入必要的中间节点（如 VAE Encode/Decode、Latent 尺寸调整），并调用 Knowledge Graph 检查模型兼容性------确认 ghibli_v2.safetensors 与当前 Checkpoint 的基座模型兼容。
步骤 4：执行与监控（DA - Deploy Agent + Workspace Monitor）
DA 将 DAG 提交给后端执行引擎（stable-diffusion.cpp 或 llama.cpp）。执行过程中，Workspace Monitor 实时监听输出目录，一旦图片生成完成，立即触发后续处理（如 2K 放大）。
步骤 5：结果记录与技能进化
执行完成后，UsageRecord 被写入 SkillEvolutionEngine：
json
{
"skill_chain": ["img2img_base", "style_transfer", "ghibli_filter", "upscale_2k"],
"success": true,
"duration_ms": 12450,
"output_quality": 0.93
}如果这次执行成功且质量高，系统会自动增加 ghibli_filter 与 img2img_base 之间的 suggests 链接权重，下次遇到类似请求时优先推荐这条路径。
10.4 用 Python SDK 调用（进阶）
media_agent 也计划提供 Python 绑定，适合集成到现有工作流中：
python
import asyncio
from media_agent import MediaAgentClient
async def ghibli_transform():
client = MediaAgentClient("http://127.0.0.1:8080")
# 提交任务
task = await client.generate(
prompt="把这张照片变成吉卜力风格，分辨率 2K",
image_path="/path/to/photo.jpg",
output_path="/path/to/ghibli_result.png",
# 可选：手动指定技能偏好
preferred_loras=["ghibli_v2.safetensors"],
preferred_sampler="dpmpp_2m",
cfg_scale=7.0,
steps=30
)
# 轮询等待结果（或使用 WebSocket 实时推送）
result = await task.wait_for_completion()
print(f"生成完成！耗时: {result.duration_ms}ms")
print(f"输出路径: {result.output_path}")
print(f"使用的技能链: {result.skill_chain}")
print(f"质量评分: {result.quality_score}")
# 查看因果引擎的诊断信息（如果有）
if result.diagnostics:
print(f"诊断报告: {result.diagnostics}")
asyncio.run(ghibli_transform())10.5 实战要点总结
| 阶段 | 关键组件 | 作用 |
|---|---|---|
| 意图理解 | SupervisorAgent + 5W2H | 把自然语言转为结构化任务 |
| 技能匹配 | SkillDiscoveryEngine + Hyperspace | 找到最优技能组合和模型 |
| 兼容性检查 | Knowledge Graph | 确保 LoRA、Checkpoint、Sampler 兼容 |
| 工作流编译 | PA (Plan Agent) | 生成可执行 DAG |
| 执行与监控 | DA + Workspace Monitor | 执行并实时感知输出变化 |
| 经验积累 | SkillEvolutionEngine | 记录成功率，自动优化后续推荐 |
这个案例展示了 media_agent 如何把 Gliding Horse 的 Agent 超能力串联成一个完整的闭环------从一句自然语言指令，到一张风格迁移后的 2K 图片，中间所有的技能发现、工作流组装、兼容性检查和执行监控都由系统自动完成。用户只需要关注创意本身，剩下的交给会"自我进化"的 Agent。
九、开源与未来
media_agent 和 Gliding Horse 都已经在 GitHub 开源：
- media_agent：https://github.com/doiito/media_agent
- Gliding Horse：https://github.com/doiito/gliding_horse
media_agent 已经完成了 188 个单元测试，内置 33+ 自定义节点和 29 个 JSON‑LD 工作流模板，支持从 SD1.5 到 SD3.5、Flux、SVD 等 13 种模型架构。更重要的是，它接入了 Gliding Horse 的全套高级认知能力，让图片生成工作流真正具备了自我进化的可能性。
如果你也在探索 AI Agent 与 AIGC 的结合点，欢迎 star、提 issue，一起让工作流从"静态文件"走向"活系统"。