神经网络常见操作(卷积)输入输出

卷积

  • dim=d的tensor可以进行torch.nn.Convnd(in_channels,out_channels),其中n=d-1,d-2
  • 对于torch.nn.Convnd(in_channels,out_channels),改变的是tensor的倒数n+1维的大小

全连接

  • 使用torch.nn.Linear(in_features,out_features,bias)实现
  • Y=XWT +b,其中X 的形状为 (batch_size,in_features),而 W T的形状为 (in_features,out_features),b 的形状为 (out_features),在加法操作中会自动扩展为 (batch_size,out_features)。
  • 在 PyTorch 中,torch.nn.Linear 的权重矩阵W不需要手动设置,它会在初始化时自动生成并进行默认的初始化,使用均匀分布或正态分布(由参数设定)
  • 偏置向量 b 默认为全零
相关推荐
天水幼麟1 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
蓝婷儿2 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手2 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
我就是全世界3 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield3 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
强哥之神4 小时前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算
陈敬雷-充电了么-CEO兼CTO6 小时前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
旷世奇才李先生7 小时前
Pillow 安装使用教程
深度学习·microsoft·pillow
acstdm10 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl10 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络