在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)

承接上文在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(上)

执行train.py之后,再输入swanlab的API,就训练流程就开始了:

一直等待训练完成:

可能出现的报错与解决方案:

1.路径报错,需要检查checkpoint:

回到代码里去检查checkpoint,改成183:

6. 训练结果的展示

详细训练过程可以回到自己的swanlab主页观看

从SwanLab图表中我们可以看到,lr的下降策略是线性下降,loss随epoch呈现下降趋势,而grad_norm则在上升。这种形态往往反映了模型有过拟合的风险,训练不要超过2个epoch。在Prediction图表中记录着模型最终的输出结果,可以看到模型在回答的风格上是用的COCO数据集的简短英文风格进行的描述:

为什么我们获取测试模型可以是

使用这行代码的前提是我们使用的微调方法是lora微调,所以才可以使用PeftModel.from_pretrained来获取模型。如果不是微调,那可能需要别的方式来导入,比如读取huggingface在线的模型

相关推荐
星释17 小时前
Rust 练习册 :Pythagorean Triplet与数学算法
开发语言·算法·rust
星释17 小时前
Rust 练习册 :Nth Prime与素数算法
开发语言·算法·rust
兴趣使然黄小黄17 小时前
【AI-agent】LangChain开发智能体工具流程
人工智能·microsoft·langchain
出门吃三碗饭17 小时前
Transformer前世今生——使用pytorch实现多头注意力(八)
人工智能·深度学习·transformer
l1t17 小时前
利用DeepSeek改写SQLite版本的二进制位数独求解SQL
数据库·人工智能·sql·sqlite
多喝开水少熬夜18 小时前
Trie树相关算法题java实现
java·开发语言·算法
说私域18 小时前
开源AI智能名片链动2+1模式S2B2C商城小程序FAQ设计及其意义探究
人工智能·小程序
WBluuue18 小时前
数据结构与算法:树上倍增与LCA
数据结构·c++·算法
bruk_spp18 小时前
牛客网华为在线编程题
算法
开利网络18 小时前
合规底线:健康产品营销的红线与避坑指南
大数据·前端·人工智能·云计算·1024程序员节