openpi使用过程中相关问题

1.loss无法下降

问题描述:

问题可以描述为,200条数据,进行LORA训练,前几步误差在30多,9万次训练后误差也大于0.5.

此时学习率lr如下:

复制代码
lr_schedule=_optimizer.CosineDecaySchedule(
            warmup_steps=5_000,           # 1000步预热,帮助稳定初始训练
            peak_lr=1e-5,                 # 峰值学习率(从默认值调低)
            decay_steps=300_000,          # 总衰减步数
            decay_lr=1e-7,                 # 最终学习率
        ),

排除学习率过大可能。

相似问题查找

经GITHUB相关问题查找,发现uu有遇到loss爆炸相关情况(loss 1000+),问题原因是归一化文件norm_stats.json中的action中的某些维度为0.导致std间相差倍数过大,或者某一维度的q0和q99过于接近

问题分析:

查看我自己的action的std发现第4,第6维度相较于其他几个维度明显过大(相差100倍)。

对原始数据进行分析,发现在action进行转换的时候,由于没有对弧度值限制在[0,2pai]内,导致最终的关节角相差了2pai的倍数,出现了关节角的跳变。处理方式:将差值限制在[0,2pai]

处理后结果

处理后发现第4第6维的std明显减小了,损失也恢复正常

相关推荐
minhuan2 小时前
医疗AI智能体:从数据到关怀人文设计:告别冰冷精准,构建有温度的诊疗交互.131
人工智能·ai智能体·智能体的人文设计·医疗ai人文设计·构建医疗ai智能体
Promise微笑3 小时前
驾驭AI引用:Geo优化中的内容评分机制与实战策略深度解析
人工智能
ai生成式引擎优化技术3 小时前
全球唯一四元结构底层架构问世:TSPR-WEB-LLM-HIC v2.0 终结大模型投毒与幻觉的终极技术范式
人工智能
阿钱真强道3 小时前
08 从 MLP 到 LeNet:为什么一个神经元不够?
深度学习·神经网络·机器学习·mlp·决策边界
听你说323 小时前
伊萨推出 ROBBI 360 协作机器人焊接工作站 简化自动化焊接部署流程
人工智能·机器人·自动化
weixin_408099673 小时前
【实战对比】在线 OCR 识别 vs OCR API 接口:从个人工具到系统集成该怎么选?
图像处理·人工智能·后端·ocr·api·图片文字识别·文字识别ocr
罗西的思考4 小时前
【OpenClaw】通过Nanobot源码学习架构---(2)外层控制逻辑
人工智能·机器学习
火山引擎开发者社区4 小时前
明天武汉!用好“龙虾”的关键要素全在这儿
人工智能