深度学习参数管理

1.访问参数

我们从已有模型中访问参数。当通过`Sequential`类定义模型时,我们可以通过索引来访问模型的任意层。

· 检查第二个全连接层的参数。

print(net2.state_dict())

print(net2.bias)

print(net2.bias.data)

net2.weight

print(*(name, param.shape) for name, param in net\[0.named_parameters()])

print(*(name, param.shape) for name, param in net.named_parameters())

2.参数初始化

· 内置初始化

def init_normal(m):

if type(m) == nn.Linear:

nn.init.normal_(m.weight, mean=0, std=0.01)

nn.init.zeros_(m.bias)

net.apply(init_normal)

net0.weight.data0, net0.bias.data0 #输出

· 不同的层采用不同的初始化

def init_xavier(m):

if type(m) == nn.Linear:

nn.init.xavier_uniform_(m.weight)

def init_42(m):

if type(m) == nn.Linear:

nn.init.constant_(m.weight, 42)

net0.apply(init_xavier)

net2.apply(init_42)

print(net0.weight.data0)

print(net2.weight.data)

3.共享参数

我们需要给共享层一个名称,以便可以引用它的参数

shared = nn.Linear(8, 8)

net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(),

shared, nn.ReLU(),

shared, nn.ReLU(),

nn.Linear(8, 1))

net(X)

检查参数是否相同

print(net2.weight.data0 == net4.weight.data0)

net2.weight.data0, 0 = 100

确保它们实际上是同一个对象,而不只是有相同的值

print(net2.weight.data0 == net4.weight.data0)

相关推荐
wuyk5551 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
高洁012 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit2 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
在所不辞兄3 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
yz_aiks3 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
2601_967980115 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao5 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin05066 小时前
【OLLAMA】调用SKILL的通用ReAct
python
Oiiouui6 小时前
原始CNN识别与训练模型实现
神经网络·机器学习·cnn
郝学胜-神的一滴6 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn