RV1126B 上支持的模型及全流程应用--从CNN及语音到 LLMVLM 与跨平台选型

cRV1126B 搭载四核 Cortex-A53 与 3 TOPS NPU（RKNPU2），NPU 支持 INT4/INT8/INT16/FP16 混合运算，内存配置为 1GB/2GB/4GB LPDDR4 可选。这组硬件参数决定了它能承载的模型谱系：CNN 视觉模型是主力负载，语音模型是听觉延伸，轻量 LLM 与多模态模型是能力上探 。但不同模型类型走的是两条不同的工具链 ------RKNN-Toolkit2 面向 .rknn，RKLLM-Toolkit 面向 .rkllm，混淆两者是部署阶段最常见的路线错误。

一、RV1126B 支持的四类模型及应用场景

1.1 CNN：实时、确定性的视觉感知

CNN 类模型（YOLO、MobileNet、ResNet 等）是 RV1126B 最成熟的负载。它们执行单次前向传播 ，输入图像，输出类别标签或边界框坐标。典型场景包括智能安防的人脸/车辆检测、工业缺陷检测、疲劳驾驶监测。模型规模通常在 KB 到几 MB 级别，量化以 INT8 为基线，精度不足时用 W4A16 混合精度兜底。实测 YOLOv5s 640×640 在 RV1126B 上可达约 38.4 FPS。RV1126B 的 AI-ISP 独立于 NPU 运行，不占用 3 TOPS 算力，在低光、HDR 场景下为 CNN 提供高质量图像输入。

1.2 语音与音频模型：CNN 的"听觉"延伸

语音模型本质上是 CNN/Transformer 在音频时序信号 上的应用。Whisper 是 RV1126B 上已验证的代表性方案，采用 encoder-decoder 架构，将音频转为文本。实测数据：在 RV1126B 基板上，Whisper 的 encoder 和 decoder 模型大小分别为 217MB 和 383MB，RTF（实时因子）均为 0.156 ，意味着处理 1 秒音频约需 0.156 秒，远快于实时。部署时 encoder 和 decoder 分别转换为独立的 .rknn 文件，板端协同加载运行。

1.3 LLM：离线、交互式的语言认知

LLM 与 CNN 的范式差异是根本性的：CNN 做"判别"，LLM 做自回归的逐 Token 生成 。RV1126B 官方支持 2B 参数以内 的 LLM 与多模态模型。但内存是比算力更硬的约束：

内存配置	可承载的 LLM 规模	推荐模型
1GB DDR	仅 300M 以内极小模型	TinyLLaMA、MiniCPM-0.2B，极易 OOM
2GB DDR	0.5B ~ 1B	Qwen-0.7B、MiniCPM-1B、Phi-2
4GB DDR	可流畅运行 1.5B，支持短上下文	DeepSeek-R1-Distill-Qwen-1.5B、Qwen2.5-1.5B

禁止部署 ≥2B 模型 ：NPU 算力与内存不足，会导致持续 OOM 和推理卡顿。如果目标是 DeepSeek 1.5B，必须选择 4GB 内存版本，并关闭系统 swap、预留足够的大模型运行内存。

1.4 多模态模型（VLM）：CNN 与 LLM 的"合流"

VLM 将视觉编码器与语言模型组合，让设备"看图说话"。RV1126B 的官方资料确认其支持 2B 以内参数规模的多模态模型，例如 Qwen2-VL 2B 在 INT4/INT8 量化下可稳定推理，生成速度约 5--15 tokens/s。Seeed Studio 的 reCamera Pro 基于 RV1126B，也明确支持 VLM、LLM、STT、TTS 多类负载。

VLM 部署的关键特征是混合工具链 ：视觉编码器用 RKNN-Toolkit2 转成 .rknn，语言模型部分用 RKLLM-Toolkit 转成 .rkllm，板端由 RKLLM Runtime 统一调度两个文件协同运行。

二、PC 端编译导出与板端部署全流程

2.1 路径 A：RKNN-Toolkit2 → .rknn（CNN 与语音模型的 encoder/decoder）

PC 端（CNN 通用流程） ：导出固定 shape 的 ONNX → rknn.config(target_platform="rv1126b") → load_onnx → build(do_quantization=True, dataset=校准集) → export_rknn → PC 侧仿真验证。量化基线 w8a8，精度不足时启用 w4a16 混合精度。关键红线不变：target_platform 必须写 rv1126b；mean_values/std_values 需与训练预处理严格对齐（PyTorch 0--1 尺度参数需乘以 255）；校准集要覆盖真实场景。

PC 端（Whisper 语音模型的特殊处理） ：Whisper 的 encoder 和 decoder 需要分别导出为两个 ONNX ，分别转换。encoder 的输入是音频特征（如 log-Mel 频谱），decoder 的输入是编码器输出与已生成 token 的拼接。校准集应使用真实音频计算出的特征窗口 ，而非图像。encoder 和 decoder 各自量化后得到两个 .rknn 文件。

板端部署（Python） ：

from rknnlite.api import RKNNLite

encoder = RKNNLite(); encoder.load_rknn('whisper_encoder.rknn'); encoder.init_runtime()
decoder = RKNNLite(); decoder.load_rknn('whisper_decoder.rknn'); decoder.init_runtime()

enc_out = encoder.inference(inputs=[audio_features])
# decoder 按自回归方式循环调用，直至结束 token

release() 同样置于 finally 中。版本对齐红线不变 ：PC 端 Toolkit2 与板端 librknnrt.so 必须来自同一 SDK 发布批次。

2.2 路径 B：RKLLM-Toolkit → .rkllm（LLM 与 VLM 的语言部分）

PC 端转换 ：RKLLM-Toolkit 的 Python 接口完成 Hugging Face / GGUF 模型的加载、量化和导出。支持的量化类型包括 w4a16、w4a16 分组量化（32/64/128）、w8a8、w8a8 分组量化（128/256/512） 。一个面向 RV1126B 的最小转换脚本：

from rkllm import RKLLM

rkllm = RKLLM()
rkllm.load_huggingface(model_path="./qwen0.7b_origin")
rkllm.build(
    target_platform="rv1126b",
    quant_type="w4a16",          # INT4 权重，大幅降低内存占用
    optimization_level=3,
    max_context_len=4096,        # 2GB 内存建议 ≤4K
)
rkllm.export_rkllm("./qwen0.7b_w4_rv1126b.rkllm")
rkllm.release()

quant_type 的选择 是精度与内存的权衡点：w4a16 内存占用最低，适合 2GB 版本；w8a8 精度更高，但内存需求更大，在 4GB 版本上运行 1.5B 模型时更稳妥。

板端部署（Python 流式推理） ：

from rkllm import RKLLM, RKLLMInput, RKLLMParam

def stream_callback(result, userdata):
    print(result.text, end="", flush=True)

param = RKLLMParam()
param.model_path = "./qwen0.7b_w4_rv1126b.rkllm"
param.max_new_tokens = 512
param.stream_callback = stream_callback

rkllm = RKLLM(); rkllm.init(param)
input_data = RKLLMInput(); input_data.text = "什么是边缘计算？"
rkllm.run(input_data)
rkllm.destroy()   # 必须执行，否则 NPU 内存泄漏

C/C++ 高性能路径 使用 rkllm_init() → rkllm_run() → rkllm_destroy()，适合产品量产。与 RKNN 的 C API 类似，LLM 的 C 接口同样将初始化、运行、释放拆分为独立函数，但多了回调机制------推理结果通过预定义的回调函数逐 Token 流式返回，而非一次性输出完整数组。

2.3 路径 C：VLM 的混合部署------两条工具链的交汇

VLM 的部署不是"选一条路"，而是两条路并行。以 Qwen2.5-VL 在 RV1126B 上的部署为例：

• 视觉编码器 → ONNX → RKNN-Toolkit2 → vision.rknn；
• 语言模型 → Hugging Face → RKLLM-Toolkit → llm.rkllm；
• 板端 → RKLLM Runtime 同时加载两个文件，视觉编码器先将图像转为特征向量，语言模型基于该特征和用户 prompt 自回归生成回答。

官方 rknn-llm 仓库的 quickstart demo 正是这一模式的实现：./demo image_path img_encoder_model_path "" "" llm_model_path max_new_tokens max_context_len rknn_core_num platform。img_encoder_model_path 传入 .rknn，llm_model_path 传入 .rkllm，两者在同一进程内协同推理。

2.4 工具链选择速查与关键约束

模型类型	PC 端工具	产物	板端运行时	核心约束
CNN	RKNN-Toolkit2	.rknn	librknnrt.so / Lite2	INT8 基线，W4A16 兜底
语音（Whisper）	RKNN-Toolkit2	encoder/decoder 两个 .rknn	同上	校准集用音频特征，非图像
LLM	RKLLM-Toolkit	.rkllm	RKLLM Runtime	内存决定模型上限；4GB 才跑 1.5B
VLM	混合：RKNN-Toolkit2 + RKLLM-Toolkit	.rknn + .rkllm	RKLLM Runtime 统一调度	视觉与语言分别转换，板端协同

RKNN-Toolkit2 与 RKLLM-Toolkit 不是版本迭代关系，而是面向两种计算范式的平行工具链 。CNN 和语音模型走前者，LLM 和 VLM 的语言部分走后者，VLM 需要两者配合。RV1126B 的 3 TOPS 算力跑一个几十 KB 的 CNN 或 Whisper 的 encoder/decoder 并不吃力；但 LLM 的瓶颈首先在内存容量 ，而非 NPU 算力。4GB 版本是运行 DeepSeek 1.5B 或 Qwen2-VL 2B 的最低硬件门槛，2GB 版本应务实选择 0.5B~1B 模型。

三、RV 其他平台的最大模型能力及与 RV1126B 的对比

RV1126B 的 3 TOPS NPU 和 1/2/4GB LPDDR4 内存，决定了它在瑞芯微产品谱系中处于轻量 LLM 的入门位置 。向上看，RK3576 和 RK3588 以 6 TOPS NPU 和更大的内存容量，将可承载的模型规模推升至 3B--8B 级别；RK1828 则通过多卡级联，把边缘侧的模型上限拉到了 27B--31B。理解这条梯度，才能判断 RV1126B 的"2B 以内"不是能力不足，而是定位使然。

3.1 跨平台能力概览

下表汇总了 RV1126B 与主要 RK 平台在 LLM/VLM 承载能力上的关键差异。需要说明的是，"最大模型"不是单一数字：同一平台在不同量化精度、上下文长度和内存配置下，实际可运行的模型规模会有浮动。表中给出的是官方定位或社区已验证的典型值。

平台	NPU 算力	最大内存配置	LLM/VLM 典型上限	已验证的代表性模型	定位
RV1126B	3 TOPS	4GB LPDDR4	≤2B	DeepSeek-R1-1.5B、Qwen2.5-1.5B、Qwen2-VL 2B	低功耗视觉 + 轻量 LLM 入门
RK3576	6 TOPS	16GB LPDDR5	≤3B（官方），实测可至 3B	LLaMA2-3B、Phi-3-3.8B、TeleChat2-3B、Qwen2-1.5B	中端边缘 AI，平衡算力与成本
RK3588	6 TOPS（架构/带宽更强）	32GB LPDDR5	6B--8B 级	ChatGLM3-6B、InternVL3.5-8B（VLM）、Qwen3-4B	高性能边缘 AI 旗舰
RK1828（4 卡级联）	4×20 TOPS	约 20GB（级联片内 DRAM）	27B--31B	Qwen3.8-27B、Gemma-4-31B-it	边缘私有化大模型推理
RV1106 / RV1103B	~0.5--1 TOPS	64--256MB 级	不适用 LLM	仅 CNN 视觉模型（检测/分类）	超低功耗视觉感知

3.2 逐平台解读

RK3576：3B 级别的务实选择。 RK3576 的 NPU 与 RK3588 同为 6 TOPS，官方表述是"支持端侧主流的 3B 以下 参数级别模型部署"。实测数据印证了这一点：TeleChat2-3B 在 w8a8 量化下可运行，Phi-3-3.8B 也能以约 7.5 tokens/s 的速度推理。Qwen2.5-1.5B 在 RK3576 上的 w4a16 版本内存占用约 1.75GB ，w8a8 版本约 2.47GB。对于 RV1126B 用户而言，RK3576 的意义在于：如果你需要比 1.5B 高出一档的模型能力（3B 左右），但又不想跨入 RK3588 的成本和功耗区间，RK3576 是自然的下一个台阶。

RK3588：8B 级边缘推理的事实标杆。 RK3588 的 NPU 标称算力同为 6 TOPS，但其四通道 LPDDR5 内存接口和高达 32GB 的容量 ，使其在 LLM/VLM 场景中显著超越 RK3576。社区 benchmark 显示，ChatGLM3-6B 在 RK3588 上以 w8a8 量化运行时，内存占用约 5.98GB ，生成速度约 4.94 tokens/s。VLM 方面，InternVL3.5-8B 已有在 RK3588 上的部署记录，VLM warm 推理速度约 5.8 秒 一轮，生成速度约 3.5 tokens/s ，内存需求约 8.8GB。这意味着 RK3588 能够以可接受的交互速度，在本地承载 6B--8B 级别的对话和看图理解任务。与 RV1126B 的 2B 上限相比，这是一次数量级的能力跨越，代价是更高的功耗预算和更大的硬件成本。

RK1828：用级联突破单芯片天花板。 RK1828 不是传统意义上的 SoC，而是专为大模型推理设计的 AI 协处理器 ，通过 PCIe 与主控（如 RK3588）连接。单卡功耗约 10W，4 卡级联总功耗约 40W，可用内存扩展至 20GB 量级，已成功跑通 Qwen3.8-27B 和 Gemma-4-31B-it 。这套方案的意义在于：它让边缘侧第一次具备了承载 20B 以上模型的能力，面向的是对数据合规和实时性有硬性要求、但需要复杂推理能力的私有化部署场景。RV1126B 与 RK1828 不在同一竞争维度：前者是单芯片低功耗感知节点，后者是边缘推理集群。

RV1106 / RV1103B：不面向 LLM 的视觉末端。 这两款芯片的 NPU 算力在 0.5--1 TOPS 量级，内存通常为 64--256MB，仅适合运行 MobileNet、YOLO-tiny 级别的 CNN 视觉模型。RKNN-LLM SDK 虽然列出了对 RV1103B/RV1106B 的支持，但以这个内存和算力预算，实际可承载的 LLM 规模微乎其微，它们的设计目标始终是超低功耗的视觉感知，而非语言模型。

3.3 一张选型逻辑图

如果你的需求是...	推荐平台	理由
低功耗视觉检测 + 1.5B 级本地问答	RV1126B（4GB）	功耗最低，2B 以内模型足够支撑简单对话和指令理解
需要 3B 级模型，兼顾成本	RK3576	6 TOPS + 16GB LPDDR5，3B 模型运行更从容
需要 6B--8B 对话或 VLM 看图理解	RK3588	32GB 内存 + 更强的内存带宽，8B VLM 已验证可跑
需要在边缘私有化运行 27B+ 模型	RK1828 多卡级联	40W 级功耗承载百亿参数，填补边缘与服务器之间的空白
只需超低功耗视觉感知，无 LLM 需求	RV1106 / RV1103B	成本与功耗极致优化，CNN 负载足够

四、总结

RV1126B 的模型能力可以概括为：以 2--7W 的功耗预算，同时承载实时视觉感知、语音识别和 2B 以内的轻量语言/多模态交互 。CNN 与语音模型走 RKNN-Toolkit2 的 .rknn 路径，LLM 与 VLM 的语言部分走 RKLLM-Toolkit 的 .rkllm 路径，VLM 则需要两条工具链在板端由 RKLLM Runtime 统一调度。部署成败取决于几条对齐红线：target_platform 写对、预处理与训练对齐、校准集与真实场景对齐、PC 与板端运行时版本对齐 ，以及 LLM 场景下内存容量与模型规模匹配。

放回瑞芯微平台谱系看，RV1126B 的"2B 以内"不是这条谱系的终点，而是轻量 LLM 边缘化的起点 ：RK3576 将上限推到 3B，RK3588 以 32GB 内存承载 6B--8B 对话与 VLM，RK1828 级联则把边缘私有化推理拉到 27B--31B。选型的核心不是追求最大的参数数字，而是让模型能力、功耗预算和场景需求三者对齐------RV1126B 的价值，正在于用最低的功耗和成本，覆盖"视觉触发 + 轻量语音/语言交互"这一类真实存在的边缘需求。