QCS8550运行ModelFarm上的DeepSeek-R1-Distill-Qwen-7B模型

阿加犀智能2025-10-14 14:53

1.点击链接aiot.aidlux.com/zh/models打开模型广场，找到对应的模型

2.下载对应模型，将文件包push到板卡上可直接拖拽到aidlux的文件浏览器或者通过adb push的方式上传

3.生成式模型需找到开发指南下的AidGen推理框架进行使用AidGen | APLUX Doc Center

4.根据操作解压模型资源

bash 复制代码

 cp -r /usr/local/share/aidgen/examples/genie ./
 cd genie/data #此路径下进行解压

5.修改解压后模型资源中后缀为htp.json的配置文件中的路径

6.根据data路径下aidgen_chat_template.txt模板修改/genie/cpp路径下的test_prompt_serial.cpp文件中的提示词模板部分

注意提示模板的提示词修改，给 prompt_template 添加占位符"{}"，例如:

ini 复制代码

 if(prompt_template_type == "qwen2"){
     prompt_template = "<｜begin▁of▁sentence｜>You are Deepseek-R1, an AI assistant created exclusively by the Chinese Company DeepSeek. You'll provide helpful, harmless, and detailed responses to all user inquiries in Chinese.<｜User｜>{}<｜Assistant｜>";
 }

7.保存修改后，在当前路径下按照操作进行编译：

bash 复制代码

 mkdir build && cd build
 cmake .. && make
 #编译成功后运行 test_prompt_serial
 ./test_prompt_serial /home/aidlux/genie/data/DeepSeek-R1-Distill-Qwen-7B-htp.json

若提示fatal error: fmt/format.h: No such file or directory，未找到 fmt/format.h 库，先安装相关库：

sql 复制代码

 sudo apt update
 sudo apt install libfmt-dev

运行结果：