矩阵正交化 - 矩阵正交化技术,学习,经验文章

I Am a robert girl

1 小时前

MeqMuon 源码级拆解：当优化器开始“配平”更新矩阵从今天觉醒,技术赋予每一个人数字生命大模型预训练的账本上，算力与显存是两座绕不开的山。AdamW 统治了这个领域近七年，代价是每个参数要额外维护两份状态（一阶动量与二阶矩），在 7B 以上模型里优化器状态往往吃掉与模型权重同量级的显存。Muon 的出现提供了一条新路径：把二维参数矩阵的更新视为矩阵正交化问题，用 Newton-Schulz 迭代近似最近正交矩阵，从而在同等步数下获得更陡的收敛曲线。