代码：https://github.com/cosmo-wander-ai/cosmo-edge
1.引言
做过算法落地的同学大概都有同感：模型精度达标，只是开头。真要把一个"识别安全帽"的模型搬到工地上，拉流、多路解码、NPU 推理排队、画框跟踪、OSD、告警、事件外推、Web 后台------这一整层跟算法本身关系不大，可哪个项目都绕不开，造轮子的工夫常常比调模型还多。
CosmoEdge 干的就是这件事：把这一层做成开源产品。模型导进去，网页上把链路连起来，剩下的它管。
上面这条链路，从摄像头接入一路走到事件外推，每一步都是算法同学交付物之外的活。左侧那个小标签是算法侧真正交出来的东西------一个精度达标的安全帽检测模型；剩下那一长串，就是 CosmoEdge 接手的区间。
2.它能干什么？
1. 在浏览器里"连"出一条视频 AI 流水线
这是它跟一般开源推理 demo 最不一样的地方：可视化编排。
启动之后打开 Web 控制台（localhost:8080），把"视频源 → 模型 → 规则 → 输出动作"像画流程图那样连起来，参数校验、实时预览都在页面上完成。配一个"有人闯进区域就截图告警"的任务，一行代码都不用写。
2. 传统 CV 的基本盘铺得很全
检测、分类、跟踪、区域（zone）、计数、OSD、告警截图，视频分析该有的都在。每个通道还能挂多个业务任务，比如同一路画面同时跑"行人检测"和"安全帽识别"。
3. 端侧跑 VLM，我个人最有兴趣的一块
CosmoEdge 把视觉大模型（VLM）和 GroundingDINO 都搬上了板子，玩法有三种：
- VLM 状态判断：用大白话把要判断的事写清楚，比如"画面里有没有人摔倒"，模型在端侧直接给结论；
- GroundingDINO 开放词汇检测：不用训练，文本把目标描述清楚就能检测，验证新想法特别快；
- VLM 复核：检测模型先报，VLM 再看一眼，确认了才往上报，误报能压下去不少。
要说清楚的是，端侧 VLM 帧率不高，官方口径是每路 0.1 FPS，差不多十秒钟才看一帧。这个速度做实时分析肯定不行，但做状态判断刚刚好------毕竟没人会一秒钟摔一次。
RK3576 上的 VLM 走的是 RKLLM v1.3.0。RV1126B 这次不在 VLM 验证范围内，官方只对 RK3576 的 VLM 做了承诺。
4. 事件闭环，能接进你现有的系统
告警产生之后有事件历史，通过 REST、WebSocket、MQTT、HTTP webhook 往外推。你手上的物联网平台、大屏、App 都能直接接，不用跟着它的技术栈走。
5. 模型不是绑死的
项目给了模型移植流程：转换、导入、验证，一条链路走完，自己的模型就能进。main 分支还加了 YOLO26 和旋转框（OBB）支持。
另外有个 Model Guard 机制，把发布包分成两类：Open 包带明文模型，不需要设备授权；Protected 包可以带加密的商业预置模型，绑设备证书。手里有模型资产、不想白送出去的厂商，会关心这个。
3.CosmoEdge架构
从上往下看三层：最上面是 Web 控制台，管编排和外部接口；中间是 C++ 引擎核心，把拉流、解码、推理调度、规则、告警这些脏活全包了；最底下是对接各家芯片的后端，RK3576 走的是 RKNN 加 MPP/RGA 的组合。
还有个设定要留意：一次构建只锁定一个推理后端，模型也得按目标平台单独生成。RK3576 的 .rknn 不能直接丢给 x86 用，反过来也一样。
这是边缘 AI 的常态，各家工具链本来就不通用。CosmoEdge 的做法是把"选平台、出包、校验"这件事流程化，构建产物自带芯片标识和 SHA256 校验文件。
4.性能测试
官方给过一组72组压测数据，测试条件是：固定 1080p24 输入（受控的本地回环，不是真实 RTSP），30 秒步进采样，每路并发跑两个业务任务------行人检测（1 个检测器）加安全帽识别（检测器 + 分类器，共 3 个模型阶段/路），每个业务任务目标 5 FPS，连跑 72 小时。
| 平台 | 通道数 | 任务绑定数 | 采样覆盖 | 最低 / 平均 FPS | 结果 |
|---|---|---|---|---|---|
| 瑞芯微 RK3576 | 8 | 16 | 4316/4320 | 5.00 / 5.098 | PASS |
| 瑞芯微 RV1126B | 4 | 8 | 4316/4320 | 4.85 / 5.230 | PASS |
VLM 那边，在 0.1 FPS/路 的目标下（每新增一路都要过 80% 帧率门限才算通过）：
| 平台 | 通过验证的路数 | 首次失败点 |
|---|---|---|
| RK3576 | 4 | 5 路时帧率降到门限的 69.7% |
联系我们
