优化器

I Am a robert girl

MeqMuon 源码级拆解：当优化器开始“配平”更新矩阵从今天觉醒,技术赋予每一个人数字生命大模型预训练的账本上，算力与显存是两座绕不开的山。AdamW 统治了这个领域近七年，代价是每个参数要额外维护两份状态（一阶动量与二阶矩），在 7B 以上模型里优化器状态往往吃掉与模型权重同量级的显存。Muon 的出现提供了一条新路径：把二维参数矩阵的更新视为矩阵正交化问题，用 Newton-Schulz 迭代近似最近正交矩阵，从而在同等步数下获得更陡的收敛曲线。

智码看视界

深度学习：模型训练调参技巧——学习率、正则化与优化器同一套网络结构，有人能训出 95% 的精度，有人怎么调都卡在 70%——差距往往不在模型，而在调参。本篇不讲玄学，只讲三个可量化、可操作的杠杆：学习率、正则化、优化器。最后我会用一段零依赖的 NumPy 代码，亲自跑出"学习率怎么影响收敛、Adam 凭什么比 SGD 快"的真实数据，而不是空谈理论。

for_ever_love__

MySQL 优化器与 OPTIMIZER_TRACE：把‘为什么选这条计划‘问到水落石出EXPLAIN 只能告诉你结果：用了哪个索引、扫了多少行。但它永远不会告诉你为什么 —— 为什么不用你建的那个索引、为什么 join 顺序是这样、为什么我们认为很明显的路径它视而不见。

opencode组件详解-安装方式```bash # Linux / macOS curl -fsSL https://opencode.ai/install | bash

Heavy-Tailed Regularized Adam以及峰度结合优化理论研究，“Heavy-Tailed”（重尾）在 Adam 相关的研究中主要指代以下两大背景：

程序员于老七

漫话大模型：训练效率翻倍的秘密——Muon 优化器凭什么干翻 AdamW2025 年 2 月，Kimi（月之暗面）发了一篇论文，说自家 16B 参数的模型训练时用了一个新优化器——训练算力砍半，效果反超。

机器学习与模式识别第十二章自适应学习优化器考点压缩综合来源：Lecture 12 PDF（25页）、课堂笔记（CSDN）占位图ri=ri+(∂E∂wi)2r_i = r_i + \left(\frac{\partial E}{\partial w_i}\right)^2ri=ri+(∂wi∂E)2

All The Way North-

AdamW 深度解析：从数学原理到 PyTorch 实现，对比分析AdamW与Adam正式 AdamW 之前，推荐先看看我写的这几篇文章：AdamW 的全称是 Adam with Decoupled Weight Decay。

崖山数据库-谓词没提前过滤优化器BUG数据库版本崖山23.5.1测试SQL执行计划SQL耗时14秒，正常来说应该秒杀才对改写(方法一)改写(方法二)

weixin_46846685

YOLOv26原理分析及训练评估实战代码YOLOv26，也称YOLO26，是由ultralytics团队在2025年9月发布，而在2026年1月公开源码。也许是出于版本号冲突的考虑，ultralytics团队发布的这一版YOLO版本号并没有延续之前的v11、v12、v13系列，而是以年份26命名。

深度学习--PyTorch框架&优化器&激活函数优点：只需要配置文件即可搭建深度神经网络模型缺点：安装麻烦，缺失很多新网络模型，近几年几乎不更新Google公司开发：

深度学习优化器详解动量优化器 - Momentum Optimizer - 无标准缩写 - /moʊˈmɛntəm ˈɒptɪmaɪzər/

性感博主在线瞎搞

【人工智能】神经网络的优化器optimizer（四）：Adam自适应动量优化器Adam(Adaptive Moment Estimation)是一种广泛应用于深度学习模型训练的自适应优化算法，由Diederik P. Kingma和Jimmy Lei Ba于2014年提出，旨在解决传统优化算法在深度学习中的局限性。它融合了Momentum动量优化器和RMSProp动态自适应学习率优化器两种主流优化技术的优势。

深度学习优化器算法巧思速览这一篇博文想写很久了，一直没有下笔，核心原因也是有一些待办的思路在攻关验证。我们先从一个核心的问题出发，

Oracle sql tuning guide 翻译 Part 6-3 --- 用Hint影响优化器Optimizer hints are special comments in a SQL statement that pass instructions to the optimizer.

爱分享的飘哥

第三十篇：AI的“思考引擎”：神经网络、损失与优化器的核心机制【总结前面2】在前面的章节中，我们像一个个勤劳的“AI工匠”，打造了许多核心“零件”：我们学会了Tensor这个“原子”，能将数据化为AI的语言（第10.1章）。我们知道了损失函数是AI的“成绩单”，能衡量对错（第6章）。我们理解了反向传播是AI的“反思录”，能追溯错误（第6章）。我们还掌握了优化器是AI的“纠错笔”，能调整认知（第7章）。但这些“零件”是如何协同工作，共同驱动一个AI模型进行**“学习”**的呢？它们之间隐藏着怎样的“流水线”？

2025-05-28 Python&深度学习8——优化器本文环境：优化器 (Optimizer) 是深度学习中的核心组件，负责根据损失函数的梯度来更新模型的参数，使模型能够逐步逼近最优解。在 PyTorch 中，优化器通过torch.optim模块提供。

# 深度学习中的优化算法详解优化算法是深度学习的核心组成部分，用于最小化损失函数以更新神经网络的参数。本文将详细介绍深度学习中常用的优化算法，包括其概念、数学公式、代码示例、实际案例以及图解，帮助读者全面理解优化算法的原理与应用。

动手学深度学习11.9. Adadelta-笔记&练习（PyTorch）以下内容为结合李沐老师的课程和教材补充的学习笔记，以及对课后练习的一些思考，自留回顾，也供同学之人交流参考。

动手学深度学习11.7. AdaGrad算法-笔记&练习（PyTorch）以下内容为结合李沐老师的课程和教材补充的学习笔记，以及对课后练习的一些思考，自留回顾，也供同学之人交流参考。