深度学习的基本概念汇总

这里小小总结一下看论文时常见到的名词,不用再一个个搜索啦!!!

1.batch size

batch size是指在训练集中取的样本数,batch的size设置的不能太大也不能太小,因此实际工程中最常用的就是mini-batch,一般size设置为几十或者几百。 对于二阶优化算法,减小batch换来的收敛速度提升远不如引入大量噪声导致的性能下降,因此在使用二阶优化算法时,往往要采用大batch哦。此时往往batch设置成几千甚至一两万才能发挥出最佳性能

2.channel

channel 定义:The dimensionality of the output space, i.e. the number of output channels (filters) in the convolution. ------mxnet (一般channels的含义是,每个卷积层中卷积核的数量

3.Conv1d,Conv2d,Conv3d

Conv1d即向一个维度进行卷积,常常用于自然语言处理

Conv2d即向两个维度进行卷积,在计算机视觉上,如手写数字识别,输入一张长*宽的手写数字图片

Conv3d即向三个维度进行卷积,在某些图像的处理上会更加高效,例如一些医学图像的分割有时会有更好的结果

4.Zero Padding(零填充)

Zero_padding 被广泛使用在卷积层中,因为图像在使用过滤器(卷积核)卷积后往往图像会缩小降维,丢失一些信息,为保持输入和输出的相同空间维度,故在水平轴和垂直轴的开始和结束处都添加了0来进行填充

5.Rescaling(区间缩放)

常见的区间缩放为 Min-Max Rescaling,对数据进行线性变换,将特征值映射将特征值映射到区间[0,1]中

6.Standardization(标准化)

标准化即为概率论与数理统计中常见的Z-score标准化。在特征值的均值(mean)和标准差(standard deviation)的基础上计算得出。标准化是依照特征矩阵的列处理数据,其通过求Z-score的方法

7.Normalization(归一化)

归一化是将每个样本缩放为单位范数(每个样本的范数为1)。归一化是依照特征矩阵的行处理数据,其目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的标准,也就是说都转化为"单位向量"

相关推荐
救救孩子把25 分钟前
3-机器学习与大模型开发数学教程-第0章 预备知识-0-3 函数初步(多项式、指数、对数、三角函数、反函数)
人工智能·数学·机器学习
CareyWYR25 分钟前
每周AI论文速递(250908-250912)
人工智能
张晓~1833994812126 分钟前
短视频矩阵源码-视频剪辑+AI智能体开发接入技术分享
c语言·c++·人工智能·矩阵·c#·php·音视频
deephub1 小时前
量子机器学习入门:三种数据编码方法对比与应用
人工智能·机器学习·量子计算·数据编码·量子机器学习
AI 嗯啦1 小时前
计算机视觉----opencv实战----指纹识别的案例
人工智能·opencv·计算机视觉
max5006001 小时前
基于多元线性回归、随机森林与神经网络的农作物元素含量预测及SHAP贡献量分析
人工智能·python·深度学习·神经网络·随机森林·线性回归·transformer
trsoliu1 小时前
前端基于 TypeScript 使用 Mastra 来开发一个 AI 应用 / AI 代理(Agent)
前端·人工智能
白掰虾2 小时前
STM32N6&AI资料汇总
人工智能·stm32·嵌入式硬件·stm32n6·stm32ai
爱思德学术2 小时前
中国计算机学会(CCF)推荐学术会议-C(软件工程/系统软件/程序设计语言):MSR 2026
人工智能·机器学习·软件工程·数据科学
小李独爱秋2 小时前
特征值优化:机器学习中的数学基石
人工智能·python·线性代数·机器学习·数学建模