深度学习的基本概念汇总

这里小小总结一下看论文时常见到的名词,不用再一个个搜索啦!!!

1.batch size

batch size是指在训练集中取的样本数,batch的size设置的不能太大也不能太小,因此实际工程中最常用的就是mini-batch,一般size设置为几十或者几百。 对于二阶优化算法,减小batch换来的收敛速度提升远不如引入大量噪声导致的性能下降,因此在使用二阶优化算法时,往往要采用大batch哦。此时往往batch设置成几千甚至一两万才能发挥出最佳性能

2.channel

channel 定义:The dimensionality of the output space, i.e. the number of output channels (filters) in the convolution. ------mxnet (一般channels的含义是,每个卷积层中卷积核的数量

3.Conv1d,Conv2d,Conv3d

Conv1d即向一个维度进行卷积,常常用于自然语言处理

Conv2d即向两个维度进行卷积,在计算机视觉上,如手写数字识别,输入一张长*宽的手写数字图片

Conv3d即向三个维度进行卷积,在某些图像的处理上会更加高效,例如一些医学图像的分割有时会有更好的结果

4.Zero Padding(零填充)

Zero_padding 被广泛使用在卷积层中,因为图像在使用过滤器(卷积核)卷积后往往图像会缩小降维,丢失一些信息,为保持输入和输出的相同空间维度,故在水平轴和垂直轴的开始和结束处都添加了0来进行填充

5.Rescaling(区间缩放)

常见的区间缩放为 Min-Max Rescaling,对数据进行线性变换,将特征值映射将特征值映射到区间[0,1]中

6.Standardization(标准化)

标准化即为概率论与数理统计中常见的Z-score标准化。在特征值的均值(mean)和标准差(standard deviation)的基础上计算得出。标准化是依照特征矩阵的列处理数据,其通过求Z-score的方法

7.Normalization(归一化)

归一化是将每个样本缩放为单位范数(每个样本的范数为1)。归一化是依照特征矩阵的行处理数据,其目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的标准,也就是说都转化为"单位向量"

相关推荐
zww89491118 小时前
AI导购线上商城搭建实战:从系统架构到部署全流程指南
人工智能·系统架构
空堂与归8 小时前
英伟达AI服务器涨价超15%:HBM存储成本飙升,AI算力经济重构开始
服务器·人工智能·重构·英伟达
IT_陈寒8 小时前
Python多进程池的坑:子进程竟然不会退出
前端·人工智能·后端
苏子寒8 小时前
Nano-VLLM全代码解析笔记(2)-block_manager
人工智能·笔记·python·机器学习·nlp·vllm
大鹏说大话8 小时前
用 Semantic Kernel 在 .NET 中构建你的第一个 AI 智能体(Agent)
人工智能·.net
EterNity_TiMe_8 小时前
一个网页管理多种远程连接:Docker 部署 Next Terminal 与资产审计
运维·人工智能·docker·ai·容器
YakProject8 小时前
如何让 AI Agent 跑得更快???
人工智能·测试工具·网络安全·agent·yakit·yaklang
硅谷秋水8 小时前
ImageWAM:世界-动作模型真的需要视频生成,还是只需要图像编辑?
人工智能·深度学习·计算机视觉·语言模型·机器人·音视频
狂师8 小时前
AI 测试丨一句指令生成测试报告,带失败截图、操作录屏、Trace、日志,这套 Skill 思路可以直接抄...
人工智能·开源·测试
%478 小时前
DAY42
人工智能·深度学习·计算机视觉