深度学习笔记——神经网络

本文为在拓尔思智能举办的训练营中学习内容的总结,部分内容摘自百度百科

个人在这里推荐一个好用的软件,Trae,主要是免费。

人工神经元是人工神经网络的基本单元。模拟生物神经元,人工神经元有1个或者多个输入(模拟多个树突或者多个神经元向该神经元传递神经冲动);对输入进行加权求和(模拟细胞体将神经信号进行积累和树突强度不同);对输入之和使用激活函数计算活性值(模拟细胞体产生兴奋或者抑制);输出活性值并传递到下一个人工神经元(模拟生物神经元通过轴突将神经冲动输入到下一个神经元)。

nn.Linear线性层

线性层(Linear Layer)又称全连接层(Full-connected Layer),其每个神经元与上一层所有神经元相连,实现对前一层的线性组合/线性变换。每个神经元都和前一层中的所有神经元相连,每个神经元的计算方式是对上一层的加权求和的过程。因此,线性层可以采用矩阵乘法来实现。

python 复制代码
# nn.Linear(in_features, out_features, bias=True)
layer = nn.Linear(20, 30)
x = torch.randn(128, 20)
y = layer(x)
y.shape

输出:

torch.Size([128, 30])

这个代码实现从20个特征点向30个的自由转移,也就是线性层的作用。

relu函数:

ReLU,全称为:Rectified Linear Unit,是一种人工神经网络中常用的激活函数,通常意义下,其指代数学中的斜坡函数,即f(x)=max(0,x)

他的应用其实就是把小于0的数值归零

激活函数:是对特征进行非线性的变化,赋予多层神经网络具有深度的意义。

参考了该文章一些内容:

深入理解ReLU函数(ReLU函数的可解释性)-CSDN博客

相关推荐
荔枝吻12 分钟前
【AI总结】Git vs GitHub vs GitLab:深度解析三者联系与核心区别
人工智能·git·github
橘子编程27 分钟前
Python-Word文档、PPT、PDF以及Pillow处理图像详解
开发语言·python
Jamie2019010628 分钟前
高档宠物食品对宠物的健康益处有哪些?
大数据·人工智能
蓝婷儿43 分钟前
Python 机器学习核心入门与实战进阶 Day 2 - KNN(K-近邻算法)分类实战与调参
python·机器学习·近邻算法
云卓SKYDROID1 小时前
无人机载重模块技术要点分析
人工智能·无人机·科普·高科技·云卓科技
云卓SKYDROID1 小时前
无人机RTK技术要点与难点分析
人工智能·无人机·科普·高科技·云卓科技
循环过三天1 小时前
3-1 PID算法改进(积分部分)
笔记·stm32·单片机·学习·算法·pid
之歆1 小时前
Python-封装和解构-set及操作-字典及操作-解析式生成器-内建函数迭代器-学习笔记
笔记·python·学习
麻雀无能为力2 小时前
CAU数据挖掘 支持向量机
人工智能·支持向量机·数据挖掘·中国农业大学计算机
智能汽车人2 小时前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习