神经网络常见操作(卷积)输入输出

卷积

  • dim=d的tensor可以进行torch.nn.Convnd(in_channels,out_channels),其中n=d-1,d-2
  • 对于torch.nn.Convnd(in_channels,out_channels),改变的是tensor的倒数n+1维的大小

全连接

  • 使用torch.nn.Linear(in_features,out_features,bias)实现
  • Y=XWT +b,其中X 的形状为 (batch_size,in_features),而 W T的形状为 (in_features,out_features),b 的形状为 (out_features),在加法操作中会自动扩展为 (batch_size,out_features)。
  • 在 PyTorch 中,torch.nn.Linear 的权重矩阵W不需要手动设置,它会在初始化时自动生成并进行默认的初始化,使用均匀分布或正态分布(由参数设定)
  • 偏置向量 b 默认为全零
相关推荐
WWZZ20255 小时前
快速上手大模型:机器学习3(多元线性回归及梯度、向量化、正规方程)
人工智能·算法·机器学习·机器人·slam·具身感知
deephub5 小时前
深入BERT内核:用数学解密掩码语言模型的工作原理
人工智能·深度学习·语言模型·bert·transformer
PKNLP5 小时前
BERT系列模型
人工智能·深度学习·bert
格林威7 小时前
偏振相机在半导体制造的领域的应用
人工智能·深度学习·数码相机·计算机视觉·视觉检测·制造
晓枫-迷麟8 小时前
【文献阅读】当代MOF与机器学习
人工智能·机器学习
来酱何人8 小时前
实时NLP数据处理:流数据的清洗、特征提取与模型推理适配
人工智能·深度学习·分类·nlp·bert
sensen_kiss8 小时前
INT301 Bio-computation 生物计算(神经网络)Pt.3 梯度下降与Sigmoid激活函数
人工智能·神经网络·机器学习
Shilong Wang8 小时前
MLE, MAP, Full Bayes
人工智能·算法·机器学习
Theodore_10228 小时前
机器学习(6)特征工程与多项式回归
深度学习·算法·机器学习·数据分析·多项式回归
Blossom.1189 小时前
把AI“刻”进玻璃:基于飞秒激光量子缺陷的随机数生成器与边缘安全实战
人工智能·python·单片机·深度学习·神经网络·安全·机器学习