muon

I Am a robert girl2 天前
深度学习·线性代数·矩阵·优化器·大模型预训练·muon·矩阵正交化
MeqMuon 源码级拆解:当优化器开始“配平”更新矩阵从今天觉醒,技术赋予每一个人数字生命大模型预训练的账本上,算力与显存是两座绕不开的山。AdamW 统治了这个领域近七年,代价是每个参数要额外维护两份状态(一阶动量与二阶矩),在 7B 以上模型里优化器状态往往吃掉与模型权重同量级的显存。Muon 的出现提供了一条新路径:把二维参数矩阵的更新视为矩阵正交化问题,用 Newton-Schulz 迭代近似最近正交矩阵,从而在同等步数下获得更陡的收敛曲线。
程序员于老七1 个月前
深度学习·大模型·ai编程·优化器·muon
漫话大模型:训练效率翻倍的秘密——Muon 优化器凭什么干翻 AdamW2025 年 2 月,Kimi(月之暗面)发了一篇论文,说自家 16B 参数的模型训练时用了一个新优化器——训练算力砍半,效果反超。
weixin_468466859 个月前
深度学习·yolo·计算机视觉·优化器·目标识别·muon·yolov26
YOLOv26原理分析及训练评估实战代码YOLOv26,也称YOLO26,是由ultralytics团队在2025年9月发布,而在2026年1月公开源码。也许是出于版本号冲突的考虑,ultralytics团队发布的这一版YOLO版本号并没有延续之前的v11、v12、v13系列,而是以年份26命名。
GoldenSpider.AI1 年前
人工智能·svd·muon·adamw
Muon 优化器:通过正交化动量矩阵革命性地加速 AI 大模型训练在机器学习模型训练的漫长演进中,优化器始终是决定效率和性能的核心工具。长期以来,Adam 优化器及其变体 AdamW 一直占据着主流地位。然而,随着大型语言模型(LLM)的规模不断扩大,Adam 固有的内存消耗和效率瓶颈日益凸显。
我是有底线的