在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)

承接上文在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(上)

执行train.py之后,再输入swanlab的API,就训练流程就开始了:

一直等待训练完成:

可能出现的报错与解决方案:

1.路径报错,需要检查checkpoint:

回到代码里去检查checkpoint,改成183:

6. 训练结果的展示

详细训练过程可以回到自己的swanlab主页观看

从SwanLab图表中我们可以看到,lr的下降策略是线性下降,loss随epoch呈现下降趋势,而grad_norm则在上升。这种形态往往反映了模型有过拟合的风险,训练不要超过2个epoch。在Prediction图表中记录着模型最终的输出结果,可以看到模型在回答的风格上是用的COCO数据集的简短英文风格进行的描述:

为什么我们获取测试模型可以是

使用这行代码的前提是我们使用的微调方法是lora微调,所以才可以使用PeftModel.from_pretrained来获取模型。如果不是微调,那可能需要别的方式来导入,比如读取huggingface在线的模型

相关推荐
.道阻且长.5 小时前
2.LeetCode算法习题讲解--双指针--复写零
算法·leetcode·职场和发展
IvanCodes5 小时前
RAG 实战教程(一):RAG 工作原理与完整流程——分片、索引、召回、重排和生成
人工智能·后端·agent
今天AI了吗6 小时前
合规场景下的 AI 推理可解释性:Attention 可视化与推理路径追踪的工程实践
人工智能
周末程序猿6 小时前
浅析大模型推理十二篇之KV Cache
人工智能
鱼樱前端6 小时前
用 AI 做内容变收入
前端·人工智能·ai编程
eric-sjq7 小时前
10 分钟实战:用 0.6B 本地模型生成中文网页(WanlyFrontend + 编译器全流程)
javascript·机器学习·自然语言处理·html
Dawson Zhu7 小时前
基于Palantir Foundry构建半导体制造AI友好型数据中台:从良率分析场景谈起
人工智能·语言模型·架构·制造·agi
To_OC7 小时前
LC 438 找到所有字母异位词:暴力超时后,我靠滑动窗口一招搞定
javascript·算法·leetcode
fthux7 小时前
装闭 RenoPit 源码解析(04):装修图纸和合同文件上传处理流程
人工智能·ai·开源·github·open source·renopit