在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)

承接上文在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(上)

执行train.py之后,再输入swanlab的API,就训练流程就开始了:

一直等待训练完成:

可能出现的报错与解决方案:

1.路径报错,需要检查checkpoint:

回到代码里去检查checkpoint,改成183:

6. 训练结果的展示

详细训练过程可以回到自己的swanlab主页观看

从SwanLab图表中我们可以看到,lr的下降策略是线性下降,loss随epoch呈现下降趋势,而grad_norm则在上升。这种形态往往反映了模型有过拟合的风险,训练不要超过2个epoch。在Prediction图表中记录着模型最终的输出结果,可以看到模型在回答的风格上是用的COCO数据集的简短英文风格进行的描述:

为什么我们获取测试模型可以是

使用这行代码的前提是我们使用的微调方法是lora微调,所以才可以使用PeftModel.from_pretrained来获取模型。如果不是微调,那可能需要别的方式来导入,比如读取huggingface在线的模型

相关推荐
无锡布里渊2 分钟前
分布式光纤声波振动与AI的深度融合:开启智慧感知新时代
人工智能·温度监测·线性感温火灾监测·线型感温火灾探测器·光纤振动das·防外破·分布式光纤声波振动
jikiecui3 分钟前
信奥崔老师:常用编译命令g++的基本使用
算法
阿里云云原生38 分钟前
Qoder 负责人揭秘:Qoder 产品背后的思考与未来发展
人工智能
乌萨奇也要立志学C++44 分钟前
【洛谷】二叉树专题全解析:概念、存储、遍历与经典真题实战
数据结构·c++·算法
小谢在学习1 小时前
旋转图像
算法
岁月宁静1 小时前
Vue3.5 + SSE 构建高可用 AI 聊天交互层 ——chat.js 模块架构与实现
前端·vue.js·人工智能
l12345sy1 小时前
Day31_【 NLP _1.文本预处理 _(3)文本数据分析】
人工智能·自然语言处理·数据分析
精灵vector1 小时前
构建自定义AI客户支持助手——LangGraph 中断机制
人工智能·python
算家计算1 小时前
DeepSeek发布新模型!采用全新稀疏注意力架构设计,与国产芯片协同优化
人工智能·开源·deepseek
大囚长2 小时前
从AI角度深入解析和论述哲学的终极答案‘语言即世界‘
人工智能·搜索引擎