深度学习笔记——神经网络

本文为在拓尔思智能举办的训练营中学习内容的总结,部分内容摘自百度百科

个人在这里推荐一个好用的软件,Trae,主要是免费。

人工神经元是人工神经网络的基本单元。模拟生物神经元,人工神经元有1个或者多个输入(模拟多个树突或者多个神经元向该神经元传递神经冲动);对输入进行加权求和(模拟细胞体将神经信号进行积累和树突强度不同);对输入之和使用激活函数计算活性值(模拟细胞体产生兴奋或者抑制);输出活性值并传递到下一个人工神经元(模拟生物神经元通过轴突将神经冲动输入到下一个神经元)。

nn.Linear线性层

线性层(Linear Layer)又称全连接层(Full-connected Layer),其每个神经元与上一层所有神经元相连,实现对前一层的线性组合/线性变换。每个神经元都和前一层中的所有神经元相连,每个神经元的计算方式是对上一层的加权求和的过程。因此,线性层可以采用矩阵乘法来实现。

python 复制代码
# nn.Linear(in_features, out_features, bias=True)
layer = nn.Linear(20, 30)
x = torch.randn(128, 20)
y = layer(x)
y.shape

输出:

torch.Size([128, 30])

这个代码实现从20个特征点向30个的自由转移,也就是线性层的作用。

relu函数:

ReLU,全称为:Rectified Linear Unit,是一种人工神经网络中常用的激活函数,通常意义下,其指代数学中的斜坡函数,即f(x)=max(0,x)

他的应用其实就是把小于0的数值归零

激活函数:是对特征进行非线性的变化,赋予多层神经网络具有深度的意义。

参考了该文章一些内容:

深入理解ReLU函数(ReLU函数的可解释性)-CSDN博客

相关推荐
海哥编程2 分钟前
Python 数据分析(二):Matplotlib 绘图
python·数据分析·matplotlib
大数据张老师16 分钟前
用 AI 做数据分析:从“数字”里挖“规律”
大数据·人工智能
好心的小明40 分钟前
【深度之眼机器学习笔记】04-01-决策树简介、熵,04-02-条件熵及计算举例,04-03-信息增益、ID3算法
笔记·算法·决策树
音视频牛哥44 分钟前
如何打造毫秒级响应的RTSP播放器:架构拆解与实战优化指南
人工智能·机器人·音视频开发
张较瘦_1 小时前
[论文阅读] 人工智能 + 软件工程 | NoCode-bench:评估LLM无代码功能添加能力的新基准
论文阅读·人工智能·软件工程
go54631584651 小时前
Python点阵字生成与优化:从基础实现到高级渲染技术
开发语言·人工智能·python·深度学习·分类·数据挖掘
猫头虎1 小时前
2025年02月11日 Go生态洞察:Go 1.24 发布亮点全面剖析
开发语言·后端·python·golang·go·beego·go1.19
Coovally AI模型快速验证1 小时前
避开算力坑!无人机桥梁检测场景下YOLO模型选型指南
人工智能·深度学习·yolo·计算机视觉·目标跟踪·无人机
仰望天空—永强1 小时前
PS 2025【七月最新v26.5】PS铺软件安装|最新版|附带安装文件|详细安装说明|附PS插件
开发语言·图像处理·python·图形渲染·photoshop