在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)

承接上文在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(上)

执行train.py之后,再输入swanlab的API,就训练流程就开始了:

一直等待训练完成:

可能出现的报错与解决方案:

1.路径报错,需要检查checkpoint:

回到代码里去检查checkpoint,改成183:

6. 训练结果的展示

详细训练过程可以回到自己的swanlab主页观看

从SwanLab图表中我们可以看到,lr的下降策略是线性下降,loss随epoch呈现下降趋势,而grad_norm则在上升。这种形态往往反映了模型有过拟合的风险,训练不要超过2个epoch。在Prediction图表中记录着模型最终的输出结果,可以看到模型在回答的风格上是用的COCO数据集的简短英文风格进行的描述:

为什么我们获取测试模型可以是

使用这行代码的前提是我们使用的微调方法是lora微调,所以才可以使用PeftModel.from_pretrained来获取模型。如果不是微调,那可能需要别的方式来导入,比如读取huggingface在线的模型

相关推荐
龙腾AI白云6 分钟前
DNN案例一步步构建深层神经网络(4)
人工智能
爱笑的眼睛119 分钟前
超越翻转与裁剪:面向生产级AI的数据增强深度实践与多模态演进
java·人工智能·python·ai
百泰派克生物科技17 分钟前
N端测序质谱分析
人工智能·科研·生物信息学分析·生化学
码上掘金21 分钟前
基于YOLO与大语言模型的中医智能舌诊系统
人工智能·yolo·语言模型
大模型真好玩26 分钟前
LangGraph1.0速通指南(二)—— LangGraph1.0 条件边、记忆、人在回路
人工智能·langchain·agent
*星星之火*29 分钟前
【大白话 AI 答疑】第8篇 BERT与传统机器学习(如贝叶斯)在文本分类中的区别及效果对比
人工智能·机器学习·bert
前端小白在前进37 分钟前
力扣刷题:复原IP地址
tcp/ip·算法·leetcode
安徽正LU o561-6o623o737 分钟前
露-数显式脑立体定位仪 大动物定位仪 小动物脑定位仪
人工智能
andwhataboutit?40 分钟前
pytorch-CycleGAN-and-pix2pix学习
人工智能·pytorch·学习
渡我白衣44 分钟前
计算机组成原理(7):定点数的编码表示
汇编·人工智能·嵌入式硬件·网络协议·机器学习·硬件工程