香橙派 RK3588 部署千问大模型 Qwen2-VL-2B 推理视频

演示视频

香橙派RK3588部署千问大模型Qwen2-VL-2B推理视频

一、场景假设

视频输入为一条网络流,利用大模型对视频中的图像帧进行推理。由于大模型推理耗时长,无法对每帧都进行推理,因此采用跳帧推理的方式:当推理完一帧后,期间会跳过若干帧,然后立即推理最新的一帧。

二、处理流程

1. 拉流

  • 使用 ffmpeg 拉取 rtsp 流,进行解封装得到 h264。

  • 为保证传输稳定,配置为 rtsp over tcp。

2. 视频解码

通过 mpp 解码 h264,得到 nv12 图像。

3. 图像转换

利用 rga 将 nv12 图像进行放缩和转 rgb 操作,此过程采用 letterbox 方式,主要目的是保持宽高等比放缩。

4. 图像编码

使用 rknn 将 rgb 图像编码成大模型能够理解图像所用的图像向量。

5. 推理

借助 rknn 将提示词和图像向量输入大模型进行推理,推理结果直接打印出来。

6. 渲染

将用于推理的图像(即图像编码前的图像),通过 qt 适配 qwidget 和 opengles 的方式进行渲染。

三、使用模型

  • Qwen2-VL-2B_llm_w8a8_rk3588.rkllm

  • Qwen2-VL-2B_vision_rk3588.rknn

四、主要耗时

  • 图像编码模型加载:5s

  • 大模型加载:7s

  • 图像编码:3s

  • 大模型推理:5s

注意:模型加载仅在程序开始时进行一次即可。

五、资源占用

  • CPU:145%(满载 800%)

  • 内存:5GB

  • NPU:50%~99%

  • 温度:69℃

相关推荐
温柔哥`18 小时前
AgentThink:一种在自动驾驶视觉语言模型中用于工具增强链式思维推理的统一框架
语言模型·自动驾驶·agent·工具调用·grpo·强化微调·tool call
ai绘画-安安妮20 小时前
Agentic AI 架构全解析:到底什么是Agentic AI?它是如何工作的
人工智能·ai·语言模型·自然语言处理·程序员·大模型·转行
百度智能云技术站1 天前
百度智能云「智能集锦」自动生成短剧解说,三步实现专业级素材生产
人工智能·音视频
relis1 天前
突破大语言模型推理瓶颈:深度解析依赖关系与优化策略
人工智能·语言模型·自然语言处理
拆房老料1 天前
大语言模型基础-Transformer之上下文
人工智能·语言模型·transformer
relis1 天前
解密大语言模型推理:Prompt Processing 的内存管理与计算优化
android·语言模型·prompt
HelloRevit1 天前
让B站视频4倍速度播放
前端·javascript·音视频
Ai工具分享1 天前
视频增强AI哪个效果好?实战对比帮你找到最适合的工具
人工智能·音视频
wan5555cn1 天前
【警惕】疑似一种新型金融黑灰产骗局大规模爆发
笔记·深度学习·音视频·生活
ai产品老杨1 天前
打破技术壁垒,推动餐饮食安标准化进程的明厨亮灶开源了
前端·javascript·算法·开源·音视频