openpi使用过程中相关问题

1.loss无法下降

问题描述:

问题可以描述为,200条数据,进行LORA训练,前几步误差在30多,9万次训练后误差也大于0.5.

此时学习率lr如下:

复制代码
lr_schedule=_optimizer.CosineDecaySchedule(
            warmup_steps=5_000,           # 1000步预热,帮助稳定初始训练
            peak_lr=1e-5,                 # 峰值学习率(从默认值调低)
            decay_steps=300_000,          # 总衰减步数
            decay_lr=1e-7,                 # 最终学习率
        ),

排除学习率过大可能。

相似问题查找

经GITHUB相关问题查找,发现uu有遇到loss爆炸相关情况(loss 1000+),问题原因是归一化文件norm_stats.json中的action中的某些维度为0.导致std间相差倍数过大,或者某一维度的q0和q99过于接近

问题分析:

查看我自己的action的std发现第4,第6维度相较于其他几个维度明显过大(相差100倍)。

对原始数据进行分析,发现在action进行转换的时候,由于没有对弧度值限制在0,2pai内,导致最终的关节角相差了2pai的倍数,出现了关节角的跳变。处理方式:将差值限制在0,2pai

处理后结果

处理后发现第4第6维的std明显减小了,损失也恢复正常

相关推荐
moMo9 小时前
当LLM学会"递纸条",AI是如何调用工具的
人工智能
拾年2759 小时前
大模型的"聪明"从哪来?聊聊 AI 数据集的那些事儿
人工智能·深度学习·机器学习
拾年2759 小时前
从 Prompt 到 Context 再到 Harness:AI 工程化的三年三级跳
人工智能
用户3090463613949 小时前
Claude 不会直接执行你的函数,它只会生成一段结构化的工具调用请求。真正执行函数、访问数据库、请求外部 API 的动作,必须由你的后端完成。
人工智能
不加辣椒9 小时前
第14章 Prompt 编排与优化技术
人工智能
Bolt9 小时前
读懂 Claude Code `/loop` 与编码 Agent 的循环革命
人工智能·程序员·agent
用户208046804569 小时前
文本分块策略与最佳实践实战指南
人工智能
用户2080468045610 小时前
文档解析实战:PDF、Word 与 HTML 的清洗提取指南
人工智能
得物技术11 小时前
从狂野代码到按目标生产:得物推荐 AI Harness 的工程化实践|AICon 演讲整理
人工智能·算法·架构
HokKeung11 小时前
飞书 lark-cli 如何存储 tenant_access_token 和 user_access_token
人工智能·go