技术栈
大模型预训练
I Am a robert girl
14 天前
深度学习
·
线性代数
·
矩阵
·
优化器
·
大模型预训练
·
muon
·
矩阵正交化
MeqMuon 源码级拆解：当优化器开始“配平”更新矩阵
从今天觉醒,技术赋予每一个人数字生命大模型预训练的账本上，算力与显存是两座绕不开的山。AdamW 统治了这个领域近七年，代价是每个参数要额外维护两份状态（一阶动量与二阶矩），在 7B 以上模型里优化器状态往往吃掉与模型权重同量级的显存。Muon 的出现提供了一条新路径：把二维参数矩阵的更新视为矩阵正交化问题，用 Newton-Schulz 迭代近似最近正交矩阵，从而在同等步数下获得更陡的收敛曲线。
InternLM
1 年前
人工智能
·
开源
·
xtuner
·
书生大模型
·
大模型训练框架
·
大模型预训练
·
大模型后训练
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
9 月 8 日，上海人工智能实验室（上海AI实验室）开源书生大模型 新一代训练引擎 XTuner V1。
我是有底线的