深度学习参数管理

1.访问参数

我们从已有模型中访问参数。当通过`Sequential`类定义模型时,我们可以通过索引来访问模型的任意层。

· 检查第二个全连接层的参数。

print(net2.state_dict())

print(net2.bias)

print(net2.bias.data)

net2.weight

print(*(name, param.shape) for name, param in net\[0.named_parameters()])

print(*(name, param.shape) for name, param in net.named_parameters())

2.参数初始化

· 内置初始化

def init_normal(m):

if type(m) == nn.Linear:

nn.init.normal_(m.weight, mean=0, std=0.01)

nn.init.zeros_(m.bias)

net.apply(init_normal)

net0.weight.data0, net0.bias.data0 #输出

· 不同的层采用不同的初始化

def init_xavier(m):

if type(m) == nn.Linear:

nn.init.xavier_uniform_(m.weight)

def init_42(m):

if type(m) == nn.Linear:

nn.init.constant_(m.weight, 42)

net0.apply(init_xavier)

net2.apply(init_42)

print(net0.weight.data0)

print(net2.weight.data)

3.共享参数

我们需要给共享层一个名称,以便可以引用它的参数

shared = nn.Linear(8, 8)

net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(),

shared, nn.ReLU(),

shared, nn.ReLU(),

nn.Linear(8, 1))

net(X)

检查参数是否相同

print(net2.weight.data0 == net4.weight.data0)

net2.weight.data0, 0 = 100

确保它们实际上是同一个对象,而不只是有相同的值

print(net2.weight.data0 == net4.weight.data0)

相关推荐
chh5639 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval9 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
prince_zxill10 小时前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西
python·pip·依赖管理·pep 751
Thanks_ks11 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP11 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
罗西的思考12 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
yiangL_12 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
lula88813 小时前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
Asher112513 小时前
电池数据整理复盘:从 MAT 文件到充电曲线
机器学习
数字工作台14 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent