端侧YOLO + 端侧CLIP + 云端CLIP（AI Mission Cloud）：云－边－端协同语义感知与任务系统架构

通过端侧 YOLO 的实时感知与 CLIP 的语义编码，将复杂视频流转化为结构化语义数据；AI Mission Cloud 在云端完成跨设备、跨时间的语义推理与任务编排，让无人系统具备可扩展、可协作、可演进的 AI 能力。

数据流拆解

🔁 数据流分为 两条平行通道

① 控制面（云 → 端）【低频】

特点：

不实时
可热更新
不依赖视频流
决定"你关心什么"

② 数据面（端 → 云）【高频 / 但已过滤】

复制代码

特点：

实时
强过滤
降带宽
降误报

YOLO / CLIP / Cloud 的边界

模块	只做什么	不做什么
YOLO	看见目标	不理解语义
CLIP	语义相似度	不做规则
Cloud	定义语义与任务	不跑实时视频

复制代码

云端 CLIP 的核心职责之一，就是"文本 → 语义向量"的统一语义定义中心
端侧如果做语义过滤，必须使用"已经在云端定义好的文本向量"
端侧一般不"自由理解语义"，而是做"向量相似度判断"
端侧不做语义筛选，并不是"不能算"，而是"不可控、不稳定、不可演化"

语义"定义权"在云端，语义"执行权"可以在端侧

CLIP 本质

把「图像」和「文本」映射到同一个语义向量空间

两个 Encoder：

模块	输入	输出
Image Encoder	图片 / ROI	图像向量（Embedding）
Text Encoder	文本 prompt	文本向量（Embedding）

目标只有一个：

"相关的图文 → 向量距离近，不相关 → 距离远"

云端 CLIP 的核心职责

1️⃣ 语义词表的"向量化定义中心"

云端 CLIP 负责：

复制代码

这一步建议在云端完成

原因：

文本 prompt 的措辞极其敏感
"person / worker / staff / pedestrian"向量差异很大
需要不断调整、试验、验证

所以云端负责：

设计 prompt
调优 prompt
训练 LoRA（如果需要）
产出 "标准文本语义向量"

2️⃣ 复杂语义组合 & 策略逻辑

云端可以做的，而端侧不适合做的：

语义组合
- person AND railway
- vehicle BUT NOT authorized
规则版本管理
多模型 ensemble
历史统计 / 误报分析

云端是"语义决策层"

3️⃣ LoRA 训练与语义扩展

"CLIP 对某个行业语义不稳定 / 不敏感"

例如：

穿工装的矿工
港口地勤
军用特种车辆

云端负责：

采集数据
基于 CLIP 做 LoRA 轻量微调
生成 行业增强版 CLIP

去重（Deduplication）与 CLIP 的关系

去重的三种层级

① 目标级（Bounding Box）-YOLO 层面

IoU
Track ID
SORT / ByteTrack

② 外观级（Embedding 去重）-端侧CLIP

复制代码

同一人反复出现？

同一车辆不同角度？

计算 CLIP image embedding
cosine similarity > 阈值 → 认为是同一实体

③ 语义级（事件去重）-云端CLIP

复制代码

同一人多次进入危险区

时间窗口
语义标签
空间关系

事件层去重，云端完成

NPU-6T(YOLO)+26T(CLIP)