1.访问参数
我们从已有模型中访问参数。当通过`Sequential`类定义模型时，我们可以通过索引来访问模型的任意层。
· 检查第二个全连接层的参数。
print(net2.state_dict())
print(net2.bias)
print(net2.bias.data)
net2.weight
print(*(name, param.shape) for name, param in net\[0.named_parameters()])
print(*(name, param.shape) for name, param in net.named_parameters())
2.参数初始化
· 内置初始化
def init_normal(m):
if type(m) == nn.Linear:
nn.init.normal_(m.weight, mean=0, std=0.01)
nn.init.zeros_(m.bias)
net.apply(init_normal)
net0.weight.data0, net0.bias.data0 #输出
· 不同的层采用不同的初始化
def init_xavier(m):
if type(m) == nn.Linear:
nn.init.xavier_uniform_(m.weight)
def init_42(m):
if type(m) == nn.Linear:
nn.init.constant_(m.weight, 42)
net0.apply(init_xavier)
net2.apply(init_42)
print(net0.weight.data0)
print(net2.weight.data)
3.共享参数
我们需要给共享层一个名称，以便可以引用它的参数
shared = nn.Linear(8, 8)
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
shared, nn.ReLU(),
shared, nn.ReLU(),
nn.Linear(8, 1))
net(X)
检查参数是否相同
print(net2.weight.data0 == net4.weight.data0)
net2.weight.data0, 0 = 100
确保它们实际上是同一个对象，而不只是有相同的值
print(net2.weight.data0 == net4.weight.data0)