昇思学习营-【模型推理和性能优化】学习心得_20250730

一、权重的加载

模型包含两部分:

base model 和 LoRA adapter

其中base model的权重在微调时被冻结,

推理时加载原权重即可,LoRA adapter可通过PeftModel.from_pretrained进行加载。

二、启动推理

通过model.generate,启动推理。

三、效果比较

"DeepSeek-R1",而在加载LoRA adapter之后,回答为"甄嬛"。

在微调多轮后的LoRA权重,在加载LoRA adapter之后,回答为"甄嬛"

在generate_kwargs中添加 repetition_penalty=1.2减少重复文本输出

四、性能测试

凡是在推理过程中涉及采样(do_sample=True)的案例,可以通过配置如下变量,

注释掉之前添加的同步模式代码,再运行代码,即可获取每个token的推理时长和平均时长。

export INFERENCE_TIME_RECORD=True

此时,从终端的运⾏⽇志可以看到,平均推理时间为0.727秒,

可通过禁用多线程将推理速度适当提升为平均单token推理时长0.674秒。

五、性能优化

通过上述禁用多线程的方式,可以适当减少平均单token的推理时长,但效果不明显。

在此基础上,还可以通过jit即时编译的方式进一步加速

jit即时编译通过jit修饰器修饰Python函数或者Python类的成员函数使其被编译成计算图,通过图优化等技术提高运行速度。

jit修饰器应该修饰模型decode的函数,但由于原代码将模型的logits计算、解码等过程整体封装成了一个

model.generate函数,不好进行优化,所以需要手动实现解码逻辑。

六、实操

6.1 访问云上Jupyter

6.1.1 点击"打开Jupyter在线编程"

6.1.2 选择如下红框中的来运行起来:

6.1.3 进入后,选择"应用实际"、"昇腾开发板"

6.1.4 进入后,选择"deepdeek-r1-distill-qwen-1.5b-jit.ipynb**"并运行它

七、代码的逻辑

7.1 每一步执行推理的时间都打印了出来,较之前有提升

7.2 运行结果

相关推荐
Da Da 泓11 分钟前
LinkedList模拟实现
java·开发语言·数据结构·学习·算法
Larry_Yanan1 小时前
QML学习笔记(十五)QML的信号处理器(MouseArea)
c++·笔记·qt·学习·ui
Larry_Yanan3 小时前
QML学习笔记(十七)QML的属性变更信号
javascript·c++·笔记·qt·学习·ui
eqwaak03 小时前
Flask实战指南:从基础到高阶的完整开发流程
开发语言·后端·python·学习·flask
GilgameshJSS3 小时前
STM32H743-ARM例程9-IWDG看门狗
c语言·arm开发·stm32·单片机·嵌入式硬件·学习
月盈缺4 小时前
学习嵌入式的第四十一天——ARM——时钟与定时器
arm开发·学习
努力毕业的小土博^_^4 小时前
【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练?
人工智能·笔记·深度学习·学习·momentum
清风吹过4 小时前
少样本学习论文分享:多模态和类增量学习
论文阅读·人工智能·深度学习·学习·机器学习
Larry_Yanan4 小时前
QML学习笔记(十四)QML的自定义模块
开发语言·笔记·qt·学习·ui
wdfk_prog5 小时前
[Linux]学习笔记系列 -- lib/sort.c 通用的排序库(Generic Sorting Library) 为内核提供标准的、高效的排序功能
linux·运维·c语言·笔记·stm32·学习·bug