在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)

承接上文在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(上)

执行train.py之后,再输入swanlab的API,就训练流程就开始了:

一直等待训练完成:

可能出现的报错与解决方案:

1.路径报错,需要检查checkpoint:

回到代码里去检查checkpoint,改成183:

6. 训练结果的展示

详细训练过程可以回到自己的swanlab主页观看

从SwanLab图表中我们可以看到,lr的下降策略是线性下降,loss随epoch呈现下降趋势,而grad_norm则在上升。这种形态往往反映了模型有过拟合的风险,训练不要超过2个epoch。在Prediction图表中记录着模型最终的输出结果,可以看到模型在回答的风格上是用的COCO数据集的简短英文风格进行的描述:

为什么我们获取测试模型可以是

使用这行代码的前提是我们使用的微调方法是lora微调,所以才可以使用PeftModel.from_pretrained来获取模型。如果不是微调,那可能需要别的方式来导入,比如读取huggingface在线的模型

相关推荐
吴佳浩2 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_096 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛7 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
火山引擎开发者社区7 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔8 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区8 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1238 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI8 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健9 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程