技术栈
muon
I Am a robert girl
2 天前
深度学习
·
线性代数
·
矩阵
·
优化器
·
大模型预训练
·
muon
·
矩阵正交化
MeqMuon 源码级拆解:当优化器开始“配平”更新矩阵
从今天觉醒,技术赋予每一个人数字生命大模型预训练的账本上,算力与显存是两座绕不开的山。AdamW 统治了这个领域近七年,代价是每个参数要额外维护两份状态(一阶动量与二阶矩),在 7B 以上模型里优化器状态往往吃掉与模型权重同量级的显存。Muon 的出现提供了一条新路径:把二维参数矩阵的更新视为矩阵正交化问题,用 Newton-Schulz 迭代近似最近正交矩阵,从而在同等步数下获得更陡的收敛曲线。
程序员于老七
1 个月前
深度学习
·
大模型
·
ai编程
·
优化器
·
muon
漫话大模型:训练效率翻倍的秘密——Muon 优化器凭什么干翻 AdamW
2025 年 2 月,Kimi(月之暗面)发了一篇论文,说自家 16B 参数的模型训练时用了一个新优化器——训练算力砍半,效果反超。
weixin_46846685
9 个月前
深度学习
·
yolo
·
计算机视觉
·
优化器
·
目标识别
·
muon
·
yolov26
YOLOv26原理分析及训练评估实战代码
YOLOv26,也称YOLO26,是由ultralytics团队在2025年9月发布,而在2026年1月公开源码。也许是出于版本号冲突的考虑,ultralytics团队发布的这一版YOLO版本号并没有延续之前的v11、v12、v13系列,而是以年份26命名。
GoldenSpider.AI
1 年前
人工智能
·
svd
·
muon
·
adamw
Muon 优化器:通过正交化动量矩阵革命性地加速 AI 大模型训练
在机器学习模型训练的漫长演进中,优化器始终是决定效率和性能的核心工具。长期以来,Adam 优化器及其变体 AdamW 一直占据着主流地位。然而,随着大型语言模型(LLM)的规模不断扩大,Adam 固有的内存消耗和效率瓶颈日益凸显。
我是有底线的