【机器学习】深度学习与神经网络

1 人工神经网络(Artificial Neural Network, ANN )

感知机:

激励函数 f(·),也称转移函数、传输函数或限幅函数,其作用是将可能的无限域变换到指定的有限范围内进行输出。

常用的激励函数:

多层感知机:

输入层:接收输入信号的层。

输出层:产生输出信号的层。

中间层称为隐含层,不直接与外部环境打交道。隐含层的层数可从零到若干层。实际情况中,层与层之间可能有部分连接的情况。

激励函数应是非线性的,否则多层网络的计算能力并不比单层网络强。

前馈网络:没有层内联接,各结点前馈联接到下一层所有结点

反馈网络:结点的输出依赖于当前的输入,也依赖于自己以前的输出

前馈网络与反馈网络的比较:

  • 前馈型网络"不存储记忆",结点的输出仅仅是当前输出的加权和(再加激励)。
  • 在反馈网络中,要将以前的输出循环返回到输入。反馈网络类似于"人类的短期记忆",即网络的输出状态部分取决于以前的输入。

2 卷积神经网络(Convolutional Neural Networks, CNN)

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,广泛应用于图像处理。

2.1 CNN算法组成结构

CNN算法结构主要组成部分:卷积层、池化层、全连接层

卷积层

简单讲,进行卷积计算,提取特征。

池化层

池化层基于局部相关性的思想,通过从局部相关的一组元素中进行采样或信息聚合,从而得到新的元素值。

作用:减少参数、降维、防止过拟合

常见的池化方式:

(1)最大池化(Max Pooling) ,从局部相关元素集中选取最大的一个元素值。

(2)平均池化(Average Pooling),从局部相关元素集中计算平均值并返回。

全连接层

顾名思义,连接所有神经元,输出结果。

2.2 CNN两大核心

局部链接:每个神经元只与上一层的部分神经元相连。即,只让相关性较强(一般指的距离较近的)的神经元参与计算。

参数共享:同一个卷积核在计算中都是共享的。

3 循环神经网络(Recurrent Neural Network, RNN)& 递归神经网络(Recursive Neural Network, RNN)

两者都简称为RNN,都可以处理序列数据。都主要都应用在在自然语言处理(Natural Language Processing, NLP)。但两者的算法结构不同。

想进一步了解可以看以下参考文章。

参考文章:
深度学习知识点全面总结
大话卷积神经网络(CNN)
大话循环神经网络(RNN)
百度百科:卷积神经网络
百度百科:循环神经网络

相关推荐
蹦蹦跳跳真可爱5892 小时前
Python----机器学习(基于PyTorch的线性回归)
人工智能·pytorch·python·机器学习·线性回归
Json_3 小时前
Vue 构造器 Vue.extend
前端·vue.js·深度学习
Json_3 小时前
Vue 实例方法
前端·vue.js·深度学习
mosquito_lover13 小时前
矿山边坡监测预警系统设计
人工智能·python·深度学习·神经网络·视觉检测
船长@Quant3 小时前
PyTorch量化进阶教程:第二章 Transformer 理论详解
pytorch·python·深度学习·transformer·量化交易·sklearn·ta-lib
Json_3 小时前
实例入门 实例属性
前端·深度学习
Json_3 小时前
JS中的apply和arguments小练习
前端·javascript·深度学习
Json_3 小时前
Vue Methods Option 方法选项
前端·vue.js·深度学习
Naomi5214 小时前
Trustworthy Machine Learning
人工智能·机器学习
星霜旅人4 小时前
K-均值聚类
人工智能·机器学习