从0.5TOPS低功耗RV1106，到20TOPS的RK182X离线大模型 ------瑞芯微这条路线走了十余年，算力从0.5TOPS一路铺到20TOPS，中途还分出一条「独立协处理器」的支线。
触觉智能作为专业RK方案商，今天为大家分享下瑞芯微NPU的发展历史。
RK的NPU是怎么来的？
RK3288（2014）：没有 NPU
RK3399（2016）：没有 NPU
RK3399Pro（2019）：3 TOPS NPU ------ 第一次
RK3566/68（2021）：1 TOPS ------ NPU 普及到入门 SoC
RV1106/RV1103（2022）：0.5 TOPS ------ 第 4 代自研 NPU 下沉到普惠型机器视觉，端侧 AI 覆盖到电池类设备
RK3588/3576（2023-2024）：6 TOPS ------ 旗舰级
RK1820/RK1828（2025 发布、2026 量产）：20 TOPS PCIe 大模型协处理器 ------ 新一代外置算力扩展方案
触觉智能紧跟原厂路线，致力于客户减少研发周期，项目快速开发落地。旗下提供配套RK3576、RV1126B、RK3588核心板等一系列模组。提供了高效能解决方案，推动终端设备从AI端侧升级！目前主流推荐RK3576核心板。
各芯片 NPU 规格对比
- 规格对比
| 芯片 | NPU 核心数 | 算力 | 精度支持 |
|---|---|---|---|
| RK3399Pro | -- | 3 TOPS | INT8/16/FP16 |
| RV1106/RV1103 | -- | 0.5 TOPS（INT8） | INT4/8/16 混合量化 |
| RK3562 | -- | 1 TOPS | INT4/8/16/FP16 |
| RK3566/68 | -- | ~1 TOPS | INT8/16/FP16/BFP16 |
| RK3576 | 双核 | 6 TOPS | INT4/8/16/FP16/BF16 |
| RK3588 | 三核 | 6 TOPS | INT4/8/16/FP16/BF16/TF32 |
| RK1808 | -- | 3 TOPS | INT8 |
| RK1820/RK1828 | 多核 Mesh | 20 TOPS（INT8） | INT4/8/16/FP8/FP16/BF16 |
- NPU算力的实际意义
| TOPS | 能跑的模型 | FPS（大概） | 典型场景 |
|---|---|---|---|
| 0.5T | 人形 / 移动侦测、人脸检测 | 轻量模型可实时 | 电池 IPC、智能门铃、宠物看护 |
| 1T | YOLOv5s 检测 | 15-25fps@1080p | 人脸识别、目标检测 |
| 3T | YOLOv5m 检测 + 分类 | 20-30fps@1080p | 智能安防、工业检测 |
| 6T | YOLOv5m + Segmentation | 15-25fps | 多模型并发、边缘 AI 盒子 |
| 20T | 3B~7B LLM/VLM 多模态大模型 | 50~200 Token/s | 离线大模型、机器人、车载座舱 |
注：FPS、Token 输出数据为第三方开发板实测参考值，受内存、散热、模型裁剪、系统负载影响浮动极大，非瑞芯微官方标定参数。0.5T 档为瑞芯微官方口径（250ms 快速抓图、1 秒内完成人脸识别含活体检测）。
独立AI协处理器：RK182X 新一代大模型协处理器
除了 SoC 内置 NPU，瑞芯微还有独立的 AI 加速芯片，通过 PCIe 给其他主控芯片提供 AI 算力，分为两代产品：早期视觉协处理器 RK1808、2026 年主推 RK182X 大模型专用协处理器。
RK1608
| 项目 | 规格 |
|---|---|
| 类型 | 视觉预处理 DSP SoC（非 NPU） |
| 核心 | Dual-core DSP |
| 用途 | 3DNR 降噪、EIS 防抖、HDR |
| 接口 | PCIe、GMAC、USB |
| 内存 | LPDDR2 |
| 定位 | 手机 / 相机的视觉图像预处理 |
RK1608 是瑞芯微的视觉预处理 DSP 芯片，内部无专用 NPU，通过双核 DSP 实现 3DNR/EIS/HDR 等图像预处理功能，不能作为通用 AI 推理协处理器使用。瑞芯微首款独立 NPU 芯片是 RK1808。
RK1808
| 项目 | 规格 |
|---|---|
| CPU | 2×Cortex-A35 |
| GPU | Mali-G31 |
| NPU | 3 TOPS（INT8） |
| 接口 | PCIe 2.1、GMAC、MIPI CSI/DSI、SPI、I2C、UART |
| 内存 | LPDDR4/LPDDR4X（32-bit） |
| 定位 | 边缘 AI / NPU 协处理 / 视觉 |
RK1808 是瑞芯微成熟的传统视觉独立 NPU 芯片。它的用法：
模式一：PCIe 协处理器（官方主推）
-
作为 PCIe 设备接到主控（如 RK3399），给主控提供 AI 算力
-
适合给没有 NPU 的 SoC 补充传统视觉检测能力
模式二：独立 SoC
-
自身运行 Linux 系统，外接 MIPI 摄像头完成 AI 推理，推理结果通过以太网对外输出
-
适合打造独立 AI 视觉模块（小众二次开发场景）
3 TOPS 的典型应用
-
工业缺陷检测（1080p 实时推理）
-
智能零售（人流统计 + 热力图）
-
交通监控（车牌识别 + 车型分类）
新一代大模型 PCIe 协处理器：RK1820 / RK1828（2025 发布，2026 量产）
针对 RK3566/RK3576/RK3588 内置 NPU 带宽、内存不足，无法流畅运行端侧大模型的痛点，瑞芯微推出RK182X 系列 3D 堆叠内存 AI 协处理器，是当前官方主推外置算力扩展方案。
- 核心硬件规格对比
| 参数 | RK1820（入门款） | RK1828（主力量产款） |
|---|---|---|
| CPU | 3×64 位独立 RISC-V 内核 | 3×64 位独立 RISC-V 内核 |
| NPU 算力 | 20 TOPS INT8 | 20 TOPS INT8 |
| 片上内存 | 2.5GB 3D 堆叠高带宽 DRAM | 5GB 3D 堆叠高带宽 DRAM |
| 内存带宽 | 100GB/s | 100GB/s |
| 支持模型上限 | 0.5B~3B LLM/VLM | 0.5B~7B LLM/VLM（Qwen、LLaMA 系列） |
| 高速接口 | 双 PCIe2.0 + USB3.0 | 双 PCIe2.0 + USB3.0，支持 M.2 算力卡形态 |
| 配套工具链 | RKNN3 SDK V1.0 | RKNN3 SDK V1.0 |
- 两大工作模式
模式一：PCIe 协处理（行业主流方案）
主控 SoC（RK3566/RK3576/RK3588）负责系统、视频编解码、基础视觉检测；RK182X 独占大模型推理，独立内存不占用主控带宽，支持多芯片级联叠加算力。
模式二：独立运行（次要）
自带 RISC-V 核心可独立运行 Linux，单独作为离线 AI 模组，多用于轻量化数字人终端。
- RK182X vs 老款 RK1808 核心升级点
-
算力跨越式提升 ：RK1808 仅 3TOPS，仅支持 YOLO 等传统视觉；RK182X 20TOPS 原生适配多模态大模型；
-
3D 堆叠专属内存 ：RK1808 无独立大容量内存，依赖主控共享内存，带宽瓶颈严重；RK182X 内置独立 DRAM，大幅降低大模型推理延迟；
-
全新 RKNN3 软件生态 ：RK1808 使用 RKNN Toolkit2；RK182X 配套 RKNN3，原生支持 Function Call、OpenAI API、LLM 深度优化；
-
多芯片扩展能力 ：RK182X 支持多片堆叠扩容算力，RK1808 无级联方案。
- 典型落地场景
-
智能车载座舱：RK3576M 车规主控 + RK1828，离线 7B 大模型语音交互、多模态座舱助手；
-
工业边缘 AI 盒子：RK3588 外挂 RK1828，多路视觉质检 + 本地图纸大模型识别；
-
人形机器人 / 数字人：大小脑架构，离线多模态对话、实时数字人渲染；
-
安防 IPC 主机：多路视频摘要、本地识图检索，分担主控内置 NPU 负载。
- 下一代产品预告：RK1860
瑞芯微规划 2026 年底推出旗舰协处理器 RK1860，稠密算力 64TOPS，搭载更大容量堆叠内存，原生支持 13B 参数大模型，面向高端边缘超算、L3 自动驾驶域控制器。
SoC内置 NPU vs 独立 NPU 芯片（RK1808/RK182X）
| 比项 | SoC 内置 NPU（RK3568/RK3588） | 传统独立 NPU（RK1808） | 新一代大模型协处理器（RK182X） |
|---|---|---|---|
| 集成度 | 高（一颗芯片搞定） | 低（主控 + 协处理器双芯片） | 模块化算力卡，灵活选配 |
| 硬件成本 | 最低 | 中等 | 偏高，算力拓展专用 |
| 内存带宽 | 与 CPU/GPU 共享带宽 | 共享主控内存带宽 | 独立 3D 堆叠 DRAM，专属高带宽 |
| 算力区间 | 1T - 6T | 固定 3T | 20T，支持多芯片叠加 |
| 适配模型 | 轻 / 中度视觉算法 | 传统工业视觉、小型检测 | 3B~7B LLM/VLM 多模态大模型 |
| 适合场景 | 小型嵌入式、空间受限设备 | 存量设备算力小幅升级 | 大模型离线部署、多路高并发 AI |
AI应用场景与芯片匹配
在消费类视觉展区，瑞芯微芯片方案展现了强大的行业渗透力，涵盖工业、智慧校园、智慧家居、智慧办公等，从工业相机、宠物IPC、会议摄像头，婴儿看护到各类创新形态的智能IPC，内置丰富的AI功能，如人形跟踪、哭声检测、手势识别等。多样化的视觉终端成果印证了瑞芯微的技术正广泛应用于各行各业，实现了AI视觉技术的普惠与赋能。
（多款应用案例亮相）****
| 场景 | 推荐芯片 | 算力 | 选型理由 |
|---|---|---|---|
| 电池 IPC、智能门铃 | RV1106B | 0.5T | 第二代 AOV，4MP@1FPS 待机 28mW |
| 经济型双目视觉、宠物看护 | RV1106 / RV1103 | 0.5T | 内置 DDR 的 QFN 封装，高集成低成本 |
| 语音唤醒 | RK3562 | 1T | 轻量算法，成本可控 |
| 人脸识别门禁 | RK3566 | 1T | 稳定实时运行 YOLOv5s |
| 中小型工业缺陷检测 | RK1808 | 3T | 独立视觉算力，适配产线改造 |
| 多路 AI 摄像主机、视觉盒子 | RK3588 | 6T（三核） | 多 NPU 核心支撑多路并发视觉 |
| 通用经济型边缘视觉盒子 | RK3576 | 6T（双核） | 算力与硬件成本均衡，性价比突出 |
| 离线 3B 参数以内大模型终端 | RK1820 | 20T | 2.5GB 片上内存，满足轻量大模型需求 |
| 7B 多模态大模型、车载离线助手 | RK1828 | 20T | 5GB 大容量堆叠内存，低延迟高输出 |
RKNN工具链简介
RK 全系 NPU 与 RK182X 协处理器分两代工具链：RKNN Toolkit2（传统视觉芯片）、RKNN3（RK182X 大模型专用）。
传统芯片（RK3566/3588/RK1808）工作流程
训练框架 (PyTorch/TensorFlow/ONNX/Caffe)
↓
RKNN Toolkit2（模型转换 + 量化）
↓
RKNN 模型文件（.rknn）
↓
RKNN Runtime（C/C++/Python API 部署）
↓
NPU硬件推理
RK182X 协处理器专属：RKNN3 完整流程
主流LLM/VLM训练框架
↓
RKNN3工具链（大模型量化、RoPE/Function Call优化）
↓
RKLLM3专用模型文件
↓
RKNN3 Runtime（支持OpenAI API、多模型并行）
↓
RK182X独立NPU推理
量化选项性能对比
| 模式 | 精度 | 精度损失 | 速度提升 |
|---|---|---|---|
| Float16 | FP16 | 极小 | 一般 |
| INT8 量化 | INT8 | 小（1-3%，实测参考） | 快 2-4 倍 |
| INT4 量化 | INT4 | 较大（3-8%，实测参考） | 最快 |
注：量化精度损失和速度提升为第三方开发板实测汇总参考值，非瑞芯微官方标准参数。官方 RKNN 文档仅给出定性结论（"精度损失极小"、"INT4 损失更高"）。
总结
梳理瑞芯微 NPU 与 AI 协处理器完整迭代路线：
-
RK3399Pro（2019） 3TOPS，首款内置 NPU 的 SoC，开启端侧 AI；
-
RK3566/68（2021） 1TOPS，AI 算力下沉至入门低成本嵌入式主控；
-
RV1106/RV1103（2022） 0.5TOPS（INT4 可达 1.0 TOPS），第 4 代自研 NPU 下沉到普惠型机器视觉，端侧 AI 覆盖到电池类设备；
-
RK3588/3576（2023-2024） 6 TOPS 旗舰内置 NPU，支撑多路视觉并发；
-
RK1820/RK1828（2025 发布，2026 量产） 20 TOPS 新一代 PCIe 协处理器，3D 堆叠内存原生适配 3B~7B 端侧大模型，实现主控与大模型算力解耦。
算力要落到板子上
算力路线图最终要落到一块能用的板子上。作为专业瑞芯微RK方案商，触觉智能旗下核心板与开发板近乎覆盖RK全系列平台 ------ 从 0.5 TOPS 的 RV1106，到 6 TOPS 多路并发的 RK3588，都有对应的核心板与配套底板可直接上手。
每当瑞芯微推出一颗新芯片，触觉智能都会跟随原厂同步推出配套方案：SOM1106、SOM3562、SOM7609、SOM3588 等核心板已陆续量产，配套 EVB 开发板、SDK/BSP 与本地 FAE 支持同步就绪，帮助客户把从选型到量产的周期压到最短。
从"看得清"到"看得懂"，再到把大模型装进设备端，触觉智能愿与瑞芯微一起，把这些算力真正落进千行百业的产品里。