【机器学习】深度学习与神经网络

1 人工神经网络(Artificial Neural Network, ANN )

感知机:

激励函数 f(·),也称转移函数、传输函数或限幅函数,其作用是将可能的无限域变换到指定的有限范围内进行输出。

常用的激励函数:

多层感知机:

输入层:接收输入信号的层。

输出层:产生输出信号的层。

中间层称为隐含层,不直接与外部环境打交道。隐含层的层数可从零到若干层。实际情况中,层与层之间可能有部分连接的情况。

激励函数应是非线性的,否则多层网络的计算能力并不比单层网络强。

前馈网络:没有层内联接,各结点前馈联接到下一层所有结点

反馈网络:结点的输出依赖于当前的输入,也依赖于自己以前的输出

前馈网络与反馈网络的比较:

  • 前馈型网络"不存储记忆",结点的输出仅仅是当前输出的加权和(再加激励)。
  • 在反馈网络中,要将以前的输出循环返回到输入。反馈网络类似于"人类的短期记忆",即网络的输出状态部分取决于以前的输入。

2 卷积神经网络(Convolutional Neural Networks, CNN)

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,广泛应用于图像处理。

2.1 CNN算法组成结构

CNN算法结构主要组成部分:卷积层、池化层、全连接层。

卷积层

简单讲,进行卷积计算,提取特征。

池化层

池化层基于局部相关性的思想,通过从局部相关的一组元素中进行采样或信息聚合,从而得到新的元素值。

作用:减少参数、降维、防止过拟合。

常见的池化方式:

(1)最大池化(Max Pooling) ,从局部相关元素集中选取最大的一个元素值。

(2)平均池化(Average Pooling),从局部相关元素集中计算平均值并返回。

全连接层

顾名思义,连接所有神经元,输出结果。

2.2 CNN两大核心

局部链接:每个神经元只与上一层的部分神经元相连。即,只让相关性较强(一般指的距离较近的)的神经元参与计算。

参数共享:同一个卷积核在计算中都是共享的。

3 循环神经网络(Recurrent Neural Network, RNN)& 递归神经网络(Recursive Neural Network, RNN)

两者都简称为RNN,都可以处理序列数据。都主要都应用在在自然语言处理(Natural Language Processing, NLP)。但两者的算法结构不同。

想进一步了解可以看以下参考文章。

参考文章:
深度学习知识点全面总结
大话卷积神经网络(CNN)
大话循环神经网络(RNN)
百度百科:卷积神经网络
百度百科:循环神经网络

相关推荐
罗西的思考13 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
Be for thing17 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
武子康18 小时前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
tellmewhoisi20 小时前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵
谙弆悕博士1 天前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
linweidong1 天前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn
咕泡科技1 天前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
龙腾AI白云1 天前
具身智能模仿学习与人类示教:从观察中习得动作
数据库·机器学习·知识图谱·pygame
电科_银尘1 天前
【大模型算法与工程 01】机器学习的问题定义:监督、无监督、自监督与强化学习
人工智能·算法·机器学习
罗西的思考2 天前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习