博客地址：https://www.cnblogs.com/zylyehuo/
参考《动手学深度学习》第二版
参考【王树森】深度强化学习(DRL)

bash 复制代码

├── 机器学习 (ML) - 让计算机系统从数据中"学习"规律，无需显式编程。
    ├── 传统机器学习方法 (非神经网络为主)
    │   ├── 监督学习 (如：线性回归、逻辑回归、SVM、决策树、随机森林)
    │   ├── 无监督学习 (如：K-Means聚类、PCA降维)
    │   ├── 强化学习 (如：Q-Learning)
    │   └── ... (其他算法，如朴素贝叶斯、KNN等)
    │
    └── 神经网络 (NN) - 受生物大脑启发的计算模型，由大量互联的"神经元"（节点）组成。
        ├── 浅层神经网络 (通常指1-2个隐藏层)
        │   ├── 感知机 (Perceptron)
        │   └── 多层感知机 (MLP) - 最常见的浅层NN，用于分类/回归。
        │
        └── 深度学习 (DL) - 使用深度神经网络（DNN）的机器学习子集，通常指包含多个（>=3）隐藏层的NN。
            ├── 卷积神经网络 (CNN) - 专为图像、视频等网格数据设计。
            ├── 循环神经网络 (RNN) - 专为序列数据（文本、语音、时间序列）设计。
            ├── 长短期记忆网络 (LSTM) / 门控循环单元 (GRU) - RNN的改进，解决长序列依赖问题。
            ├── 生成对抗网络 (GAN) - 用于生成新数据（如图像、音乐）。
            ├── 变换器 (Transformer) - 革命性的架构，主导现代NLP（如BERT, GPT系列），也用于CV。
            └── ... (其他深度架构，如自编码器、深度信念网络等)

MLP

感知机 -- Perceptron
多层感知机 -- MLP -- Multi-Layer Perceptron

CNN（通常用于图片）

卷积神经网络 -- CNN（可以看做简化版的 Self-attention） -- Recurrent NeConvolutional Neural Networks
经典卷积神经网络 -- LeNet
现代深度卷积神经网络 -- AlexNet
使用块的网络（视觉几何组） -- VGG -- visual geometry group
网络中的网络 -- NiN -- NetWork In NetWork
含并行连结的网络 -- GoogLeNet
残差网络 -- ResNet -- Residual Neural Network
稠密连接网络 -- DenseNet
单发多框检测 -- SSD（用于目标检测） -- Single Shot MultiBox Detector
区域卷积神经网络 -- R-CNN -- region-based CNN 或 regions with CNN features
快速的基于区域的卷积神经网络 -- Fast R-CNN -- Fast Region-based Convolutional Network
全连接卷积神经网络 -- FCN -- Fully Convolutional Network
YOLO -- You Only Look Once

RNN（通常用于文本）

循环神经网络 -- RNN -- Recurrent Neural Network
门控循环单元 -- GRU -- Gate Recurrent Unit
长短期记忆网络 -- LSTM -- Long Short-Term Memory
深度循环神经网络 -- DRNN -- Deep Recurrent Neural Network
双向循环神经网络 -- BiRNN -- Bidirectional Recurrent Neural Network
双向长短期记忆网络 -- BiLSTM（由前向LSTM与后向LSTM组合而成）-- Bi-directional Long Short-Term Memory
序列到序列模型 -- Seq2Seq -- Sequence to Sequence
束搜索 -- Beam Search

注意力机制

Nadaraya-Watson 核回归
单向对齐限制的可微注意力模型 -- Bahdanau Attention（Seq2Seq的发展）
多头注意力 -- Multi-head Attention
自注意力 -- Self-attention
多头自注意力 -- Multi-head Self-attention
Transformer（纯使用注意力的编码-解码器）
来自Transformers的双向编码器表示 -- BERT（基于微调的 NLP 模型） -- Bidirectional Encoder Representation from Transformers（只有编码器的 Transformer）

优化算法

随机梯度下降法 -- SGD -- Stochastic Gradient Descent
动量法 -- momentum
Adam算法

RL

强化学习 -- RL -- Reinforcement learning
价值学习 -- Value-Based Reinforcement Learning
深度Q网络 -- DQN -- Deep Q Network
时序差分学习 -- TD -- Temporal Difference Learning
策略学习 -- Policy-Based Reinforcement Learning
策略神经网络 -- Policy Network
AC -- Actor-Critic Method（Policy Network + Value Network）
阿尔法围棋 -- AlphaGo
蒙特卡罗算法 -- Monte Carlo Algorithms
蒙特卡洛树搜索 -- MCTS -- Monte Carlo Tree Search
Sarsa（基于TD算法） -- State-Action-Reward-State-Action
Q-learning（基于TD算法）
Multi-Step TD Target
经验回放 -- Experience Replay
优先经验回放 -- Prioritized Experience Replay
拔靴法 -- Bootstrapping
目标网络 -- Target Network
Double DQN -- Deep Reinforcement Learning with Double Q-learning
对抗深度强化学习网络 -- Dueling Network
REINFORCE with Baseline
A2C（结合了演员-评论家（Actor-Critic）框架和优势函数（Advantage Function）） -- Advantage Actor-Critic
离散控制 -- Discrete Control
连续控制 -- Continuous Control
确定策略梯度 -- DPG（解决连续控制问题） -- Deterministic Policy Gradient

Others

线性层 -- Linear
全连接层 -- FC（与 "Linear" 的含义相同） -- Fully connected layer
前馈神经网络 -- FFN -- Fast-forward network
K-近邻算法 -- kNN -- k-nearest neighbor classification
锚框 -- anchor box
交并比 -- IoU -- intersection over union
转置卷积 -- transposed convolution
图神经网络 -- GNN -- Graph Neural Network
词嵌入 -- word2vec
人工神经网络 -- ANN -- Artificial Neural Network
生成对抗网络 -- GAN -- Generative Adversarial Network
深度卷积生成对抗网络 -- DCGAN -- Deep ConvolutionGenerative Adversarial Network

机器学习主要算法全称整理

MLP

CNN（通常用于图片）

RNN（通常用于文本）

注意力机制

优化算法

RL

Others