【00】神经网络之初始化参数

问题描述

#随机初始化权重

w12 = np.random.randn(100, 784)/np.sqrt(784)

为什么除以28

回答

这里的代码是初始化一个深度学习模型中的权重矩阵w12。权重矩阵的形状是(100, 784),这是一个从784个输入节点到100个隐藏节点的全连接层。

除以np.sqrt(784)是权重初始化的一种策略,通常称为"Xavier初始化"或"Glorot初始化"。该初始化策略的目的是使权重的初始值具有合适的尺度,以保证网络中每一层的信号既不会过小也不会过大,从而有助于模型的收敛。
784这个数字是28 x 28的结果,这很可能是一个28x28像素的图像,对应的是MNIST数据集中的图像尺寸。

除以np.sqrt(784)的原因是:

  1. 根据Xavier初始化,当使用tanh激活函数时,权重应该从均值为0、方差为1/n的分布中初始化,其中n是输入节点的数量。在这里,n = 784。
  2. 当从标准正态分布中随机抽取权重(使用np.random.randn())时,得到的权重具有均值0和方差1。为了将方差调整为1/n,可以将权重除以np.sqrt(n)。

因此,除以np.sqrt(784)是为了将权重的方差调整为1/784,这有助于优化算法的收敛性。

备注:

random.randn 是NumPy库中的一个函数,用于从标准正态分布(均值为0,方差为1)中生成随机数。

具体来说,当你使用 random.randn 时:

  • 它会返回一个或一组从标准正态分布中随机抽取的数值。
  • 参数决定了返回数组的形状。例如,np.random.randn(3, 4) 会返回一个3x4的数组,其中的每个元素都是从标准正态分布中随机抽取的。

使用 random.randn 是初始化神经网络权重的常用方法,特别是当使用某些权重初始化策略(如Xavier初始化)时。从标准正态分布中抽取的随机权重可以确保在训练开始时权重是小的、不同的,并且它们的分布具有某种规律性。这有助于避免某些训练问题,如权重全部更新为相同的值或权重更新太大导致的梯度爆炸。

相关推荐
万里侯28 分钟前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐31 分钟前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
7177778 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn8 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健9 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道9 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99610 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队10 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术11 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream12 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai