【rk3588】——在rk3588上，用python进行qwen3-vl模型推理

农夫山泉2号2026-01-10 10:46

项目：https://github.com/chenjun2hao/qwen3_vl.rk3588

rk3588 部署 qwen3-vl

说明：用python flask 部署 qwen3-vl 模型到 rk3588 上，提供 http 服务接口。方便用python进行一些前处理，进行服务验证/模型精度验证等。

1. 环境准备

bash 复制代码

# 1. 安装rk npulite
从这里下载[rk_npulite whl](https://github.com/airockchip/rknn-toolkit2/tree/master/rknn-toolkit-lite2/packages)

pip install ./rknn_toolkit_lite2-2.3.2-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

2. 起服务

bash 复制代码

# 1. 从rk官方下载 qwen3-vl rknn 模型
[qwen3-vl rknn 模型](https://meta.box.lenovo.com/v/link/view/ad7482f6712844b48902f07287ed3359)

# 2. 起服务
python3 flask_server_vlm.py --target_platform rk3588 --rkllm_model_path vl_models/qwen3-vl-2b-instruct_w8a8_rk3588.rkllm --vision_encoder_model_path vl_models/qwen3-vl-2b_vision_rk3588.rknn

3. 测试服务

bash 复制代码

# 1. 测试服务
python3 req.py