【00】神经网络之初始化参数

问题描述

#随机初始化权重

w12 = np.random.randn(100, 784)/np.sqrt(784)

为什么除以28

回答

这里的代码是初始化一个深度学习模型中的权重矩阵w12。权重矩阵的形状是(100, 784),这是一个从784个输入节点到100个隐藏节点的全连接层。

除以np.sqrt(784)是权重初始化的一种策略,通常称为"Xavier初始化"或"Glorot初始化"。该初始化策略的目的是使权重的初始值具有合适的尺度,以保证网络中每一层的信号既不会过小也不会过大,从而有助于模型的收敛。
784这个数字是28 x 28的结果,这很可能是一个28x28像素的图像,对应的是MNIST数据集中的图像尺寸。

除以np.sqrt(784)的原因是:

  1. 根据Xavier初始化,当使用tanh激活函数时,权重应该从均值为0、方差为1/n的分布中初始化,其中n是输入节点的数量。在这里,n = 784。
  2. 当从标准正态分布中随机抽取权重(使用np.random.randn())时,得到的权重具有均值0和方差1。为了将方差调整为1/n,可以将权重除以np.sqrt(n)。

因此,除以np.sqrt(784)是为了将权重的方差调整为1/784,这有助于优化算法的收敛性。

备注:

random.randn 是NumPy库中的一个函数,用于从标准正态分布(均值为0,方差为1)中生成随机数。

具体来说,当你使用 random.randn 时:

  • 它会返回一个或一组从标准正态分布中随机抽取的数值。
  • 参数决定了返回数组的形状。例如,np.random.randn(3, 4) 会返回一个3x4的数组,其中的每个元素都是从标准正态分布中随机抽取的。

使用 random.randn 是初始化神经网络权重的常用方法,特别是当使用某些权重初始化策略(如Xavier初始化)时。从标准正态分布中抽取的随机权重可以确保在训练开始时权重是小的、不同的,并且它们的分布具有某种规律性。这有助于避免某些训练问题,如权重全部更新为相同的值或权重更新太大导致的梯度爆炸。

相关推荐
螺丝钉tina11 分钟前
[Playwright] [21][AI] 千问生成测试的完整 mini demo
人工智能
高洁0137 分钟前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
Forget the Dream43 分钟前
Spring AI 2.0 系列(三):ChatClient 与 ChatModel:Spring AI 2.0 的两层职责
java·人工智能·spring·springai
syso_稻草人1 小时前
qwen-image-2.1 姿态控制拆解:SDPose 提骨架 + Fun-ControlNet-Union 锁姿势,换人换景不换姿势
人工智能·stable diffusion·prompt·提示词优化·qwen-image
Baihai_IDP1 小时前
大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本
人工智能·llm·aigc
数字融合1 小时前
透明化视频动态三维重建空间数据零核心技术
人工智能·python·virtualenv
谙弆悕博士1 小时前
多智能体架构详解:黑板共享架构(共享存储交互型)
人工智能·架构·大模型·agent·多智能体·黑板架构·anggraph
AI创界者1 小时前
Python 进阶实战(五十四章):大模型推理网关终极架构——分布式全局前缀 Trie 缓存同步与多网关高可用协同调度
人工智能·python·aigc
后端小肥肠2 小时前
公众号里流量很夯的漫画赛道:趣味漫画创作全拆解
人工智能·aigc·agent
程序油菜花2 小时前
微软 ONNX Runtime 仓库突然 404:你的项目,可能并不真正属于你
人工智能