【机器学习】深度学习与神经网络

1 人工神经网络(Artificial Neural Network, ANN )

感知机:

激励函数 f(·),也称转移函数、传输函数或限幅函数,其作用是将可能的无限域变换到指定的有限范围内进行输出。

常用的激励函数:

多层感知机:

输入层:接收输入信号的层。

输出层:产生输出信号的层。

中间层称为隐含层,不直接与外部环境打交道。隐含层的层数可从零到若干层。实际情况中,层与层之间可能有部分连接的情况。

激励函数应是非线性的,否则多层网络的计算能力并不比单层网络强。

前馈网络:没有层内联接,各结点前馈联接到下一层所有结点

反馈网络:结点的输出依赖于当前的输入,也依赖于自己以前的输出

前馈网络与反馈网络的比较:

  • 前馈型网络"不存储记忆",结点的输出仅仅是当前输出的加权和(再加激励)。
  • 在反馈网络中,要将以前的输出循环返回到输入。反馈网络类似于"人类的短期记忆",即网络的输出状态部分取决于以前的输入。

2 卷积神经网络(Convolutional Neural Networks, CNN)

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,广泛应用于图像处理。

2.1 CNN算法组成结构

CNN算法结构主要组成部分:卷积层、池化层、全连接层

卷积层

简单讲,进行卷积计算,提取特征。

池化层

池化层基于局部相关性的思想,通过从局部相关的一组元素中进行采样或信息聚合,从而得到新的元素值。

作用:减少参数、降维、防止过拟合

常见的池化方式:

(1)最大池化(Max Pooling) ,从局部相关元素集中选取最大的一个元素值。

(2)平均池化(Average Pooling),从局部相关元素集中计算平均值并返回。

全连接层

顾名思义,连接所有神经元,输出结果。

2.2 CNN两大核心

局部链接:每个神经元只与上一层的部分神经元相连。即,只让相关性较强(一般指的距离较近的)的神经元参与计算。

参数共享:同一个卷积核在计算中都是共享的。

3 循环神经网络(Recurrent Neural Network, RNN)& 递归神经网络(Recursive Neural Network, RNN)

两者都简称为RNN,都可以处理序列数据。都主要都应用在在自然语言处理(Natural Language Processing, NLP)。但两者的算法结构不同。

想进一步了解可以看以下参考文章。

参考文章:
深度学习知识点全面总结
大话卷积神经网络(CNN)
大话循环神经网络(RNN)
百度百科:卷积神经网络
百度百科:循环神经网络

相关推荐
阡之尘埃12 分钟前
Python数据分析案例73——基于多种异常值监测算法探查内幕交易信息
人工智能·python·机器学习·数据分析·异常检测·无监督学习
极小狐1 小时前
极狐GitLab 如何 cherry-pick 变更?
人工智能·git·机器学习·gitlab
小宋加油啊1 小时前
深度学习小记(包括pytorch 还有一些神经网络架构)
pytorch·深度学习·神经网络
沛沛老爹1 小时前
从线性到非线性:简单聊聊神经网络的常见三大激活函数
人工智能·深度学习·神经网络·激活函数·relu·sigmoid·tanh
何大春1 小时前
【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
论文阅读·深度学习·神经网络·计算机视觉·视觉检测·论文笔记
旧故新长2 小时前
支持Function Call的本地ollama模型对比评测-》开发代理agent
人工智能·深度学习·机器学习
微学AI2 小时前
融合注意力机制和BiGRU的电力领域发电量预测项目研究,并给出相关代码
人工智能·深度学习·自然语言处理·注意力机制·bigru
知来者逆2 小时前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
一只可爱的小猴子3 小时前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
每天都要写算法(努力版)3 小时前
【神经网络与深度学习】训练集与验证集的功能解析与差异探究
人工智能·深度学习·神经网络