技术栈

rkllm

源来猿往
15 天前
ai·rk3588·rkllm
大模型(qwen3-1.7b)转rkllm之前用过qwen3.0 转rkllm,部署rk3588上面,这次就来记录下,如何转换吧。由于qwen3.0 需要python 3.9以上,所以之前的提供的 rknn-toolkit2-v2.3.0-cp38-docker.tar.gz 不能用,那么我们直接在ubuntu上面进行使用把。要不就自己慢慢搭建环境。
不做签到员
1 年前
python·大模型·rk3588·rknn·rkllm
RKLLM部署写在前面:建议去阅读官方提供的RKLLM doc,本文基于官方的RKLLM doc制作而成(没有将flask相关内容添加进来),仅仅添加了完整流程的执行过程截图和在做这以流程过程中遇到的问题
我是有底线的