端侧YOLO + 端侧CLIP + 云端CLIP(AI Mission Cloud):云-边-端协同语义感知与任务系统架构

端侧YOLO + 端侧CLIP + 云端CLIP(AI Mission Cloud):云-边-端协同语义感知与任务系统架构

通过端侧 YOLO 的实时感知与 CLIP 的语义编码,将复杂视频流转化为结构化语义数据;AI Mission Cloud 在云端完成跨设备、跨时间的语义推理与任务编排,让无人系统具备可扩展、可协作、可演进的 AI 能力。

数据流拆解

🔁 数据流分为 两条平行通道

① 控制面(云 → 端)【低频】

特点:

  • 不实时

  • 可热更新

  • 不依赖视频流

  • 决定"你关心什么"

② 数据面(端 → 云)【高频 / 但已过滤】

复制代码

特点:

  • 实时

  • 强过滤

  • 降带宽

  • 降误报

YOLO / CLIP / Cloud 的边界

模块 只做什么 不做什么
YOLO 看见目标 不理解语义
CLIP 语义相似度 不做规则
Cloud 定义语义与任务 不跑实时视频
复制代码
  • 云端 CLIP 的核心职责之一,就是"文本 → 语义向量"的统一语义定义中心

  • 端侧如果做语义过滤,必须使用"已经在云端定义好的文本向量"

  • 端侧一般不"自由理解语义",而是做"向量相似度判断"

  • 端侧不做语义筛选,并不是"不能算",而是"不可控、不稳定、不可演化"

语义"定义权"在云端,语义"执行权"可以在端侧

CLIP 本质

把「图像」和「文本」映射到同一个语义向量空间

两个 Encoder:

模块 输入 输出
Image Encoder 图片 / ROI 图像向量(Embedding)
Text Encoder 文本 prompt 文本向量(Embedding)

目标只有一个:

"相关的图文 → 向量距离近,不相关 → 距离远"

云端 CLIP 的核心职责

1️⃣ 语义词表的"向量化定义中心"

云端 CLIP 负责:

复制代码

这一步建议在云端完成

原因:

  • 文本 prompt 的措辞极其敏感

  • "person / worker / staff / pedestrian"向量差异很大

  • 需要不断调整、试验、验证

所以云端负责:

  • 设计 prompt

  • 调优 prompt

  • 训练 LoRA(如果需要)

  • 产出 "标准文本语义向量"

2️⃣ 复杂语义组合 & 策略逻辑

云端可以做的,而端侧不适合做的:

  • 语义组合

    • person AND railway

    • vehicle BUT NOT authorized

  • 规则版本管理

  • 多模型 ensemble

  • 历史统计 / 误报分析

云端是"语义决策层"

3️⃣ LoRA 训练与语义扩展

"CLIP 对某个行业语义不稳定 / 不敏感"

例如:

  • 穿工装的矿工

  • 港口地勤

  • 军用特种车辆

云端负责:

  • 采集数据

  • 基于 CLIP 做 LoRA 轻量微调

  • 生成 行业增强版 CLIP

去重(Deduplication)与 CLIP 的关系

去重的三种层级

① 目标级(Bounding Box)-YOLO 层面
  • IoU

  • Track ID

  • SORT / ByteTrack


② 外观级(Embedding 去重)-端侧CLIP
复制代码

同一人反复出现?

同一车辆不同角度?

  • 计算 CLIP image embedding

  • cosine similarity > 阈值 → 认为是同一实体


③ 语义级(事件去重)-云端CLIP
复制代码

同一人多次进入危险区

  • 时间窗口

  • 语义标签

  • 空间关系

事件层去重,云端完成

NPU-6T(YOLO)+26T(CLIP)

相关推荐
chh5632 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval2 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi3 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿3 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方3 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI4 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP4 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷4 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考5 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI5 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具