【NLP 10、优化器 ① SGD 随机梯度下降优化器】

目录

一、定义

二、什么是梯度下降

三、SGD的工作原理

四、SGD的优化公式(更新规则)

五、SGD的优缺点

优点

缺点

六、如何选择学习率

七、使用SGD优化器训练一个简单的线性回归模型


祝你

随时攥紧偶然

永远拥有瞬间

------ 24.12.6

一、定义

随机梯度下降(Stochastic Gradient Descent,SGD) 是一种常用的优化算法,用于训练机器学习模型特别是神经网络。它通过迭代地更新模型参数来最小化损失函数


二、什么是梯度下降

梯度下降是一种优化算法,通过计算损失函数对模型参数的梯度(导数),然后沿着梯度的反方向更新参数,以使损失函数逐渐减小

SGD随机梯度下降优化器: 在每一步更新参数时,仅使用一个样本的梯度


三、SGD的工作原理

1.随机选择一个样本(或一个小批量样本)

2.计算该样本(或小批量样本)的梯度

3.按照梯度的反方向更新模型参数

4.重复上述步骤,直到满足停止条件(如达到最大迭代次数或损失函数收敛)


四、SGD的优化公式(更新规则)

假设我们有一个损失函数 L(θ),其中 θ是模型参数。SGD的更新规则为:

其中:

  • θt 是第 t 次迭代时的参数

  • η是学习率,控制每次更新的步长

  • ∇L(θt​)是损失函数在θt处的梯度


五、SGD的优缺点

优点

  • 计算效率高,因为每次只使用一个样本或小批量样本,减少了计算量

  • 可以快速收敛到损失函数的最小值,尤其是在损失函数不平整时

  • 有助于逃避免局部最小值

缺点

  • 由于噪声较大,损失函数的下降过程可能不稳定

  • 需要仔细选择学习率,否则可能发散或收敛过慢


六、如何选择学习率

  • 固定学习率 :在整个训练过程中使用一个固定的学习率

  • 学习率衰减 :随着训练的进行,逐渐降低学习率

  • 自适应学习率 :如Adam、RMSprop等优化器,可以自动调整学习率


七、使用SGD优化器训练一个简单的线性回归模型

**Learned parameters:**优化后的参数

python 复制代码
import numpy as np

# 使用SGD训练一个简单的线性回归模型

# 生成一些伪数据
np.random.seed(0)
X = np.random.rand(100, 1)
y = 2 + 3 * X + np.random.rand(100, 1)

# 初始化参数
theta = np.random.randn(2, 1)
learning_rate = 0.01
iterations = 1000

# 添加偏置项
X_b = np.c_[np.ones((100, 1)), X]

for i in range(iterations):
    # 随机选择一个样本
    idx = np.random.randint(0, 100)
    xi = X_b[idx:idx + 1]
    yi = y[idx:idx + 1]

    # 计算预测值
    predictions = np.dot(xi, theta)

    # 计算梯度
    gradient = 2 * xi.T.dot(predictions - yi)

    # 更新参数
    theta -= learning_rate * gradient

print("Learned parameters:")
print(theta)
相关推荐
tellmewhoisi10 分钟前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟11 分钟前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y20 分钟前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Dawson Zhu1 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源1 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔1 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE11 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷12 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能