基于Multi-Agent的B/C数据链路变更自动化保障

一、背景与痛点

广告BC链路架构

投放端（Adcore）→ ADBus（数据管道）→ 在线索引（AutoBots），三端串行，字段变更牵一发而动全身：

投放端：MySQL库表DDL变更，依赖DMS工单、ONES服务部署
ADBus：Spark/Flink实时同步，涉及RedTable Schema管理、字段映射转换
在线索引：搜索/推荐/广告召回依赖，涉及索引Schema变更、构建切换

传统变更痛点（量化）

|-----------|-------|
| 指标 | 现状 |
| 平均变更周期 | 3~5天 |
| 涉及团队数 | ≥3个 |
| 人工操作步骤 | ≥10步 |
| 端到端自动化覆盖率 | 0% |

核心问题：

流程靠"人传人"：无系统化SOP，关键步骤易遗漏
操作碎片化：需在DMS/Apollo/Darwin等多平台手动切换
影响面评估主观：依赖个人经验，新人上手难，历史变更不可复用
追溯困难：变更记录分散，故障定位成本高

二、解决思路

从「人工串行协作」升级为「Agent驱动的端到端自动化闭环」：

|------|--------------|--------------------------------|
| 阶段 | 传统模式 | ArkAI Prism智能模式 |
| 需求发起 | 研发口头/文字通知各端 | 研发一句话描述变更意图 |
| 影响分析 | 人工逐端梳理 | Prism自动分析三端影响面 |
| 流程生成 | 人工拼接零散步骤 | 自动生成完整变更Workflow |
| 审批执行 | 人工跨团队流转，逐端操作 | 人工审核（HITL）后，Prism并行驱动三端Agent执行 |
| 验证复盘 | 人工回归，无统一报告 | 自动触发质量验证+灰度观测，自动生成变更报告+知识沉淀 |

核心价值：变更周期从3~5天压缩至小时级，零遗漏，全流程可追溯。

三、ArkAI Prism系统设计

整体架构：Supervisor-Specialist分层协作

复制代码

用户输入（自然语言/DDL） ↓ Supervisor（Prism Core，中枢调度） ├─ 意图理解 → 影响面分析 → 流程编排 → 分端调度 → 质量验收 ↓ Specialist Agent（领域专家，动态实例化） ├─ Planner（规划者）：构建Workflow，编排执行顺序，插入确认/质检节点 ├─ Analyzer（解析者）：字段定位，三端影响面分析，输出血缘链路报告 └─ Executor×N（执行者）：调用各端SKILL，轮询工单状态，协调质量观测 ↓ 业务域Agent + 质量保障Agent（Raptor） ├─ 业务Agent：执行具体变更操作（字段增删改、配置下发、接口调用） └─ Raptor：全程质检，执行回归测试、数据一致性校验、在线巡检

核心设计原则

硬性规则优先：S0变更不跳灰度、高危操作二次确认、Tech Owner必审批等规则不经过LLM推理，直接强制生效，规避模型判断偏差风险。
记忆机制：
1. 短期记忆：存储当前任务的Plan、Workflow状态、执行产物、交互留痕
2. 长期记忆（RAG）：沉淀历史变更记录、字段血缘元数据、流程文档，支持后续相似变更复用
交互友好：以HI Bot为入口，全程在群聊内完成需求澄清、审批流转、进度同步，无需切换平台；支持多轮对话动态调整方案。
动态组装Specialist：按需选择SKILL组合→裁剪上下文切片（控制Token开销）→定义子任务目标，不固化角色。

技术选型：为什么选ArkAI？

|------|--------------------|------------|--------------|
| 维度 | ArkAI | OpenClaw | LangGraph |
| 语言栈 | Java（企业级） | TypeScript | Python/JS |
| 目标场景 | 2B企业生产 | 2C个人助手 | 2B/2C通用 |
| 稳定性 | 企业级，久经考验 | 社区级，体验差 | 需自行保障 |
| 内场适配 | Darwin原生接入，合规 | 存在信息安全问题 | 存在信息安全问题 |
| 可观测性 | 原生Metric/Trace/Log | 基础日志 | 需对接LangSmith |

四、核心技术挑战与解法

挑战1：字段血缘自动分析

难点：字段在三端的名称、类型、转换逻辑不一致，难以自动关联
解法：代码扫描+配置解析双源交叉验证
- 数据源采集：扫描代码库、Apollo配置、ADBus Pipeline、库表结构、Proto协议、索引Schema声明
- 字段映射解析：梳理「源表→Transform→目标表」链路，构建三端全链路图谱
- RAG辅助：向量化存储血缘数据，支持语义检索、增量更新，实现字段变化实时感知

挑战2：影响面评估与变更拦截预检

影响面评估（Analyzer SKILL）：输入变更意图/DDL，自动输出三端影响清单（关联库表/字段、涉及Flink Task、影响的索引服务）
硬性规则引擎预检：变更执行前自动校验，不满足则拦截：
- S0链路变更禁止跳过灰度
- 必须引入Tech Owner审批
- 高危生产操作需相关方二次确认
- Flink任务延迟超阈值自动暂停变更
- 质量验证不通过拒绝进入下一阶段

挑战3：全程留痕与可追溯

交互留痕：用户输入输出、Agent决策过程全记录
工单追踪：DMS/ONES/Darwin工单ID统一关联，状态实时同步
知识沉淀：自动生成结构化变更报告，成功案例回流长期记忆，形成知识飞轮

五、落地效果与经验展望

落地效果

|------|-------------------------------|
| 指标 | 成果 |
| 效率提升 | 10x+，周期从3~5天压缩至小时级，核心路径可至分钟级 |
| 变更质量 | 遗漏/错序问题归零，全流程自动质量校验 |
| 协同成本 | 跨团队人工协调次数大幅减少，进度自动同步 |
| 可追溯性 | 100%变更留痕，故障定位效率显著提升 |

实践经验

安全边界优先：高风险操作不信任LLM推理，硬性规则高于模型判断
容错设计：将失败视为常态，内置自动重试、异常上报人工介入机制
Human-in-the-Loop是必选项：高风险变更场景关键节点必须人工确认，不为追求"全自动"绕过审批
知识飞轮效应：成功变更回流RAG知识库，相似变更可直接复用历史Workflow，Agent越用越强