深度学习笔记——神经网络

本文为在拓尔思智能举办的训练营中学习内容的总结,部分内容摘自百度百科

个人在这里推荐一个好用的软件,Trae,主要是免费。

人工神经元是人工神经网络的基本单元。模拟生物神经元,人工神经元有1个或者多个输入(模拟多个树突或者多个神经元向该神经元传递神经冲动);对输入进行加权求和(模拟细胞体将神经信号进行积累和树突强度不同);对输入之和使用激活函数计算活性值(模拟细胞体产生兴奋或者抑制);输出活性值并传递到下一个人工神经元(模拟生物神经元通过轴突将神经冲动输入到下一个神经元)。

nn.Linear线性层

线性层(Linear Layer)又称全连接层(Full-connected Layer),其每个神经元与上一层所有神经元相连,实现对前一层的线性组合/线性变换。每个神经元都和前一层中的所有神经元相连,每个神经元的计算方式是对上一层的加权求和的过程。因此,线性层可以采用矩阵乘法来实现。

python 复制代码
# nn.Linear(in_features, out_features, bias=True)
layer = nn.Linear(20, 30)
x = torch.randn(128, 20)
y = layer(x)
y.shape

输出:

torch.Size([128, 30])

这个代码实现从20个特征点向30个的自由转移,也就是线性层的作用。

relu函数:

ReLU,全称为:Rectified Linear Unit,是一种人工神经网络中常用的激活函数,通常意义下,其指代数学中的斜坡函数,即f(x)=max(0,x)

他的应用其实就是把小于0的数值归零

激活函数:是对特征进行非线性的变化,赋予多层神经网络具有深度的意义。

参考了该文章一些内容:

深入理解ReLU函数(ReLU函数的可解释性)-CSDN博客

相关推荐
zskj_qcxjqr12 分钟前
数字大健康崛起:艾灸机器人重构就业生态,传统与科技如何共生?
大数据·人工智能·科技·机器人
云澈ovo13 分钟前
AI+传统工作流:Photoshop/Excel的智能插件开发指南
人工智能·excel·photoshop
Eiceblue13 分钟前
Python 将 HTML 转换为纯文本 TXT (HTML 文本提取)
开发语言·vscode·python·html
跟橙姐学代码23 分钟前
给Python项目加个“隔离间”,从此告别依赖纠缠!
前端·python·ipython
kalvin_y_liu25 分钟前
【深度相机术语与概念】
人工智能·数码相机·具身智能
山烛32 分钟前
计算机视觉:OpenCV+Dlib 人脸检测
图像处理·人工智能·opencv·计算机视觉·人脸识别·dlib
小苑同学35 分钟前
研究生如何看懂文献?
人工智能·安全·网络安全·安全性测试
补三补四36 分钟前
图卷积网络 (GCN)
网络·人工智能·深度学习·神经网络·算法·机器学习
zhglhy42 分钟前
大语言模型在金融风控中的应用
人工智能·语言模型·自然语言处理
扑克中的黑桃A1 小时前
Python快速入门专业版(五):从 print 到交互:Python 解释器与 IDLE 的基础使用
python