在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)

承接上文在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(上)

执行train.py之后,再输入swanlab的API,就训练流程就开始了:

一直等待训练完成:

可能出现的报错与解决方案:

1.路径报错,需要检查checkpoint:

回到代码里去检查checkpoint,改成183:

6. 训练结果的展示

详细训练过程可以回到自己的swanlab主页观看

从SwanLab图表中我们可以看到,lr的下降策略是线性下降,loss随epoch呈现下降趋势,而grad_norm则在上升。这种形态往往反映了模型有过拟合的风险,训练不要超过2个epoch。在Prediction图表中记录着模型最终的输出结果,可以看到模型在回答的风格上是用的COCO数据集的简短英文风格进行的描述:

为什么我们获取测试模型可以是

使用这行代码的前提是我们使用的微调方法是lora微调,所以才可以使用PeftModel.from_pretrained来获取模型。如果不是微调,那可能需要别的方式来导入,比如读取huggingface在线的模型

相关推荐
造梦师阿鹏2 分钟前
004.从 API 裸调到 LangChain
经验分享·ai·大模型·ai技术·大模型应用开发
plusplus1688 分钟前
边缘智能实战手册:攻克IoT应用三大挑战的AI战术
人工智能·物联网
地平线开发者15 分钟前
征程 6 | PTQ 精度调优辅助代码,总有你用得上的
算法·自动驾驶
Tisfy40 分钟前
LeetCode 837.新 21 点:动态规划+滑动窗口
数学·算法·leetcode·动态规划·dp·滑动窗口·概率
果粒橙_LGC43 分钟前
论文阅读系列(一)Qwen-Image Technical Report
论文阅读·人工智能·学习
雷达学弱狗1 小时前
backward怎么计算的是torch.tensor(2.0, requires_grad=True)变量的梯度
人工智能·pytorch·深度学习
Seeklike1 小时前
diffuxers学习--AutoPipeline
人工智能·python·stable diffusion·diffusers
CoovallyAIHub1 小时前
为高空安全上双保险!无人机AI护航,YOLOv5秒判安全带,守护施工生命线
深度学习·算法·计算机视觉
杨过过儿1 小时前
【Task01】:简介与环境配置(第一章1、2节)
人工智能·自然语言处理
小妖同学学AI1 小时前
deepseek一键生成word和excel并一键下载
人工智能·word·excel·deepseek