openpi使用过程中相关问题

1.loss无法下降

问题描述:

问题可以描述为,200条数据,进行LORA训练,前几步误差在30多,9万次训练后误差也大于0.5.

此时学习率lr如下:

复制代码
lr_schedule=_optimizer.CosineDecaySchedule(
            warmup_steps=5_000,           # 1000步预热,帮助稳定初始训练
            peak_lr=1e-5,                 # 峰值学习率(从默认值调低)
            decay_steps=300_000,          # 总衰减步数
            decay_lr=1e-7,                 # 最终学习率
        ),

排除学习率过大可能。

相似问题查找

经GITHUB相关问题查找,发现uu有遇到loss爆炸相关情况(loss 1000+),问题原因是归一化文件norm_stats.json中的action中的某些维度为0.导致std间相差倍数过大,或者某一维度的q0和q99过于接近

问题分析:

查看我自己的action的std发现第4,第6维度相较于其他几个维度明显过大(相差100倍)。

对原始数据进行分析,发现在action进行转换的时候,由于没有对弧度值限制在0,2pai内,导致最终的关节角相差了2pai的倍数,出现了关节角的跳变。处理方式:将差值限制在0,2pai

处理后结果

处理后发现第4第6维的std明显减小了,损失也恢复正常

相关推荐
AcaDesign43 分钟前
国家/省部市级科技奖答辩PPT_科技进步奖_自然科学奖_技术发明奖|WordinPPT
大数据·人工智能·科技·powerpoint
Ai-_Man3 小时前
希望大家能推荐一款软件,可以直接把文心生成的代码变流程图,提高办公效率
人工智能·ai·小程序·流程图
AI02265 小时前
探秘AI Agent软件公司:开启智能时代的创新引擎
人工智能
fīɡЙtīиɡ ℡7 小时前
AI 应用系统设计
java·开发语言·人工智能
小淮AI7 小时前
国际教育课程的本土化探索:以枫叶教育三十年为观察样本
大数据·人工智能
又折桃枝换酒钱7 小时前
VisCoder2:构建多语言可视化编码智能体(翻译与解读)
人工智能·信息可视化
AI绘画哇哒哒7 小时前
【建议收藏!】35岁后端血泪忠告,这3类人别硬转Agent(过来人亲述)
java·人工智能·后端·ai·程序员·大模型·agent
Chengbei118 小时前
DSH渗透测试插件dsh-pentest全新升级!适配DeepSeek Harness,可视化探索链路,一键搭建轻量化AI渗透测试环境。
人工智能·web安全·网络安全·微信·小程序·系统安全·安全架构
QN1幻化引擎8 小时前
DalinX Phi 性能突破:跨层秩保持对齐与意识涌现度量的实证研究
人工智能·ai·架构·agi·asi