
本期视频主要演示了 RK182X 算力卡内置的 multistream_detect 例程(内置 traffic 交通监管应用)。该例程在迅为 iTOP-RK3588 开发板 + RK182X 算力卡 的硬件平台上运行,通过一个 Web 界面即可实现多路视频流的实时目标检测、多目标跟踪、车牌识别、VLM 智能描述与交通事故自动巡检,全程板端本地化,数据不出设备。
一、核心功能亮点
- 四宫格多路并发,通道动态切换
例程支持最多四路视频画面同时展示,采用四宫格布局。未选中的通道会自动释放资源,避免算力浪费,实现了多路视频的灵活调度。
- Pipeline 可视化
每一帧数据走到哪个处理环节都清晰可见,便于开发者理解和调试整个推理流水线。
- 实时目标态势感知
对机动车和行人进行独立编号,实时显示检测框、置信度,并支持缩略图调取,方便快速定位目标。
- VLM 智能描述
利用视觉语言模型(Qwen3-VL)对目标进行语义级描述:车辆方面可识别车型和颜色,行人方面可判断状态、是否骑车、是否携带行李或危险物品等。
车牌识别 + 全画面事故巡检
对车辆执行车牌检测和 PP-OCRv4 车牌字符识别;同时每次采集连续四帧场景画面,通过 Qwen3-VL 判断是否发生交通事故,异常情况自动提示。
板载 NPU 与算力卡协同
主控(RK3588)只负责调度,实际的重型推理任务由 RK182X 算力卡承担,实现了异构算力的高效协同。
二、硬件平台
主控:迅为 iTOP-RK3588 开发板
iTOP-RK3588 搭载瑞芯微 RK3588 旗舰级处理器,采用 8nm LP 制程,八核 64 位 CPU(四核 Cortex-A76 + 四核 Cortex-A55),主频高达 2.4GHz,最高可配 32GB 运行内存。内置独立 NPU,支持 INT4/INT8/INT16/FP16 混合运算,算力高达 6TOPS ,支持 TensorFlow、MXNet、PyTorch、Caffe 等主流框架的网络模型。
开发板采用核心板+底板结构,板载 2 路千兆以太网、WIFI 与蓝牙二合一模块,选配 4G/5G 模块,配备 HDMI 输出/输入、2 路 MIPI、1 路 EDP、PCIe 3.0、PCIe 2.0、SATA 3.0、USB 3.0、USB 2.0、Type-C 等接口,支持 M.2 固态硬盘和 SATA 硬盘,以及 4 路 MIPI-CSI 摄像头接口 ,可满足多路摄像头接入的扩展需求。系统层面已适配 Android 12/13、Debian 11、Buildroot、Ubuntu 20/22、openEuler 24.03 等,源码全开放。
算力卡:RK182X(RK1820/RK1828)
RK182X 是瑞芯微面向大模型推理场景打造的业界首款 3D 堆叠 AI 协处理器,定位为端侧大模型算力加速方案,专门解决大模型在边缘设备上部署时的带宽瓶颈与算力不足问题。该算力卡通过板载 M.2 插槽直连主控 ,经 PCIe 高速总线通信,为端侧大模型推理提供专用算力通道,不抢占主控 CPU 与 NPU 资源。
六、适用场景
该例程面向智慧交通场景设计,可广泛应用于城市道路监控、园区/校园/楼宇安防、智慧工地、生产安全 等领域。
迅为 iTOP-RK3588 开发板凭借 8 核 CPU + 6TOPS NPU + 多路 MIPI-CSI 接口的旗舰配置,已在工业控制、医疗、电力、交通等多个行业实现量产应用。RK182X 算力卡在此基础上为 RK3588 平台提供了灵活的外挂算力扩展能力,无需更换主板即可实现端侧大模型部署 ,适合对数据隐私有严格要求的政企行业客户。