[深度学习网络从入门到入土] 神经网络发展脉络

[深度学习网络从入门到入土] 神经网络发展脉络

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

文章目录

• [[深度学习网络从入门到入土] 神经网络发展脉络](#[深度学习网络从入门到入土] 神经网络发展脉络)
• 个人导航
• 源头
• • • • 1.感知机perceptron(1950)
      • 2.反向传播backprop
      • 3.多层神经网络MLP(1980)
• CNN
• • • • 1.lenet(1998)
      • 2.alexnet(2012)
      • 3.vgg(2014)
      • 4.googlenet(2014)
      • 5.resnet(2015)
• 序列
• • • • 1.rnn(1980)
      • 2.lstm(1997)
      • 3.gru(2014)
      • 4.seq2seq(2014)
      • [5.temporal attention](#5.temporal attention)
• [CNN for 序列](#CNN for 序列)
• • • • [1.因果Causal Conv](#1.因果Causal Conv)
      • [2.空洞Dilated Conv](#2.空洞Dilated Conv)
      • 3.TCN
      • 4.WaveNet
      • 5.InceptionTime
• 经典统计基线
• • • • 1.AR
      • 2.ETS
      • 3.状态空间模型
      • 4.Prophet
• [Attention / Transformer 系](#Attention / Transformer 系)
• • • • 1.transformer
      • 2.word2vec
      • 3.ELMo
      • 4.BERT
      • 5.GPT

源头

1.感知机perceptron(1950)

2.反向传播backprop

3.多层神经网络MLP(1980)

CNN

1.lenet(1998)

2.alexnet(2012)

3.vgg(2014)

4.googlenet(2014)

5.resnet(2015)

序列

1.rnn(1980)

2.lstm(1997)

3.gru(2014)

4.seq2seq(2014)

5.temporal attention

CNN for 序列

1.因果Causal Conv

2.空洞Dilated Conv

3.TCN

4.WaveNet

5.InceptionTime

经典统计基线

1.AR

2.ETS

3.状态空间模型

4.Prophet

Attention / Transformer 系

1.transformer

2.word2vec

3.ELMo

4.BERT

5.GPT