昇思学习营-【模型推理和性能优化】学习心得_20250730

一、权重的加载

模型包含两部分:

base model 和 LoRA adapter

其中base model的权重在微调时被冻结,

推理时加载原权重即可,LoRA adapter可通过PeftModel.from_pretrained进行加载。

二、启动推理

通过model.generate,启动推理。

三、效果比较

"DeepSeek-R1",而在加载LoRA adapter之后,回答为"甄嬛"。

在微调多轮后的LoRA权重,在加载LoRA adapter之后,回答为"甄嬛"

在generate_kwargs中添加 repetition_penalty=1.2减少重复文本输出

四、性能测试

凡是在推理过程中涉及采样(do_sample=True)的案例,可以通过配置如下变量,

注释掉之前添加的同步模式代码,再运行代码,即可获取每个token的推理时长和平均时长。

export INFERENCE_TIME_RECORD=True

此时,从终端的运⾏⽇志可以看到,平均推理时间为0.727秒,

可通过禁用多线程将推理速度适当提升为平均单token推理时长0.674秒。

五、性能优化

通过上述禁用多线程的方式,可以适当减少平均单token的推理时长,但效果不明显。

在此基础上,还可以通过jit即时编译的方式进一步加速

jit即时编译通过jit修饰器修饰Python函数或者Python类的成员函数使其被编译成计算图,通过图优化等技术提高运行速度。

jit修饰器应该修饰模型decode的函数,但由于原代码将模型的logits计算、解码等过程整体封装成了一个

model.generate函数,不好进行优化,所以需要手动实现解码逻辑。

六、实操

6.1 访问云上Jupyter

6.1.1 点击"打开Jupyter在线编程"

6.1.2 选择如下红框中的来运行起来:

6.1.3 进入后,选择"应用实际"、"昇腾开发板"

6.1.4 进入后,选择"deepdeek-r1-distill-qwen-1.5b-jit.ipynb**"并运行它

七、代码的逻辑

7.1 每一步执行推理的时间都打印了出来,较之前有提升

7.2 运行结果

相关推荐
liliangcsdn21 小时前
Leiden社区发现算法的学习和示例
学习·数据分析·知识图谱
DKPT1 天前
JVM中如何调优新生代和老生代?
java·jvm·笔记·学习·spring
phltxy1 天前
JVM——Java虚拟机学习
java·jvm·学习
m0_571372821 天前
嵌入式学习——ARM 体系架构1
arm开发·学习
Lei活在当下1 天前
【业务场景架构实战】1. 多模块 Hilt 使用原则和环境搭建
性能优化·架构·客户端
Rhys..1 天前
python + Flask模块学习 2 接收用户请求并返回json数据
python·学习·flask
2501_926227941 天前
.Net程序员就业现状以及学习路线图(四)
学习·.net
滴滴滴嘟嘟嘟.1 天前
Qt自定义列表项与QListWidget学习
开发语言·qt·学习
Yvonne爱编码1 天前
零基础学习数据采集与监视控制系统SCADA
学习·信息可视化·信息与通信·数据可视化
肥肠可耐的西西公主1 天前
后端(JDBC)学习笔记(CLASS 1):基础篇(一)
笔记·学习