【机器学习】深度学习与神经网络

1 人工神经网络(Artificial Neural Network, ANN )

感知机:

激励函数 f(·),也称转移函数、传输函数或限幅函数,其作用是将可能的无限域变换到指定的有限范围内进行输出。

常用的激励函数:

多层感知机:

输入层:接收输入信号的层。

输出层:产生输出信号的层。

中间层称为隐含层,不直接与外部环境打交道。隐含层的层数可从零到若干层。实际情况中,层与层之间可能有部分连接的情况。

激励函数应是非线性的,否则多层网络的计算能力并不比单层网络强。

前馈网络:没有层内联接,各结点前馈联接到下一层所有结点

反馈网络:结点的输出依赖于当前的输入,也依赖于自己以前的输出

前馈网络与反馈网络的比较:

  • 前馈型网络"不存储记忆",结点的输出仅仅是当前输出的加权和(再加激励)。
  • 在反馈网络中,要将以前的输出循环返回到输入。反馈网络类似于"人类的短期记忆",即网络的输出状态部分取决于以前的输入。

2 卷积神经网络(Convolutional Neural Networks, CNN)

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,广泛应用于图像处理。

2.1 CNN算法组成结构

CNN算法结构主要组成部分:卷积层、池化层、全连接层

卷积层

简单讲,进行卷积计算,提取特征。

池化层

池化层基于局部相关性的思想,通过从局部相关的一组元素中进行采样或信息聚合,从而得到新的元素值。

作用:减少参数、降维、防止过拟合

常见的池化方式:

(1)最大池化(Max Pooling) ,从局部相关元素集中选取最大的一个元素值。

(2)平均池化(Average Pooling),从局部相关元素集中计算平均值并返回。

全连接层

顾名思义,连接所有神经元,输出结果。

2.2 CNN两大核心

局部链接:每个神经元只与上一层的部分神经元相连。即,只让相关性较强(一般指的距离较近的)的神经元参与计算。

参数共享:同一个卷积核在计算中都是共享的。

3 循环神经网络(Recurrent Neural Network, RNN)& 递归神经网络(Recursive Neural Network, RNN)

两者都简称为RNN,都可以处理序列数据。都主要都应用在在自然语言处理(Natural Language Processing, NLP)。但两者的算法结构不同。

想进一步了解可以看以下参考文章。

参考文章:
深度学习知识点全面总结
大话卷积神经网络(CNN)
大话循环神经网络(RNN)
百度百科:卷积神经网络
百度百科:循环神经网络

相关推荐
NeoFii4 小时前
Day 22: 复习
机器学习
宇称不守恒4.04 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
码字的字节5 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber
凪卄12136 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
巫婆理发2226 小时前
强化学习(第三课第三周)
python·机器学习·深度神经网络
碳酸的唐6 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构
AI赋能6 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶
seasonsyy6 小时前
1.安装anaconda详细步骤(含安装截图)
python·深度学习·环境配置
deephub6 小时前
AI代理性能提升实战:LangChain+LangGraph内存管理与上下文优化完整指南
人工智能·深度学习·神经网络·langchain·大语言模型·rag
go54631584657 小时前
基于深度学习的食管癌右喉返神经旁淋巴结预测系统研究
图像处理·人工智能·深度学习·神经网络·算法