研1日记9

1.理解conv1d和conv2d

a. 1和2处理的数据不同,1维数据和图像

b. 例如x输入形状为(32,19,512)时,卷积公式是针对512的,而19应该变换为参数中指定的输出通道。

2."SE块"(Squeeze-and-Excitation Block)它可以帮助模型自动学习不同特征的重要性,然后增强有用的特征,抑制不那么重要的特征。SE块的工作流程就是:首先通过自适应平均池化"挤压"出全局信息,然后通过两次一维卷积和ReLU激活函数学习不同特征的重要性,最后通过Sigmoid函数将这些重要性转换为0到1之间的权重。这些权重随后可以用于对原始特征图进行重新标定,即根据权重增强或抑制不同的特征。

3.Pointwise Convolution(点卷积)

点卷积,也称为1x1卷积,是一种特殊的卷积操作,其中卷积核的大小为1x1(对于二维卷积是1x1x输入通道数,对于一维卷积是1x输入通道数)。这种卷积操作不会改变输入数据在空间维度(对于一维数据是长度,对于二维数据是高度和宽度)上的大小,但它可以改变数据的深度(即通道数),常用于构建更复杂的网络结构。

  1. 位置编码

pos:位置,0~seq_len-1

i: 0~embedding/2 embedding = dmodel

  1. zip (),对三维数组迭代时:

for x in zip(X):,X形状为(3,4,5),则循环3次,x的形状是(4,5)

  1. torch.stack 把多个2维的张量合成一个3维的张量

7.如果你有一个形状为(3, 4, 5)的tensor,并且你调用.sum(dim=0),那么你会沿着第一个维度(大小为3的那个维度)求和,结果是一个形状为(4, 5)的tensor,因为第一个维度被求和掉了。

8.torch.max ,0是行,1是列

  1. loss 和train_loss 的计算
复制代码

9. 当你在使用val_loader(或任何用于验证/测试的数据加载器)时,你会使用model.train()时训练好的参数。但是,重要的是要注意,尽管你使用的是训练好的参数,但在进行验证或测试时,你应该将模型设置为评估模式(使用model.eval()),而不是训练模式。

相关推荐
冷水鱼4 分钟前
docker部署MinerU web api
人工智能
一点.点6 分钟前
简单分析自动驾驶发展现状与挑战
人工智能·自动驾驶
山重水复疑无路@7 分钟前
NVIDIA --- 端到端自动驾驶
人工智能·机器学习·自动驾驶
落樱弥城17 分钟前
光流法:从传统方法到深度学习方法
人工智能·深度学习
乙真仙人27 分钟前
从困局到破局的AI+数据分析
人工智能·数据挖掘·数据分析
量子位32 分钟前
阿里 Qwen3 问鼎开源王座!8 款模型全面开放,最大杯全方位超越 R1/o1,网友:让开源再次伟大
人工智能·开源·通义灵码
量子位32 分钟前
普通人也能用上超级智能体!实测 100+MCP 工具随便选,撰写报告 / 爬虫小红书效果惊艳
人工智能·mcp
酱酱们的每日掘金32 分钟前
用了 Trae 后,感觉离京东外卖不远了、Cursor 的系统级提示词逆向、前端也需要了解的 mcp 知识-AI Coding 周刊第 6 期
人工智能·ai编程·trae
机器之心34 分钟前
ChatGPT的尽头也是「带货」:3、2、1,上链接
人工智能
量子位37 分钟前
14.9 万元,满血流畅运行 DeepSeek 一体机抱回家!清华 90 后初创出品
人工智能·deepseek