目录
前言
不用多讲，近两年的技术圈关于AI相关的技术讨论层出不穷，而深度学习作为人工智能领域的一个重要分支，近年来取得了显著的进展，并在图像识别、自然语言处理、游戏智能等多个领域取得了突破性成果。那么本文就来分享一下，在总结和分享一些深度学习高手在实际工作中积累的经验和技巧，帮助初学者和进阶者提升技能，深入理解深度学习的核心概念和技术。
理解深度学习基础
先来理解深度学习基础相关的内容，深度学习的核心在于构建多层的神经网络，通过学习数据的多层次特征来提高模型的性能，高手们通常强调以下几个基础概念：
- 激活函数：如ReLU、Sigmoid、Tanh等，它们为神经网络引入非线性，是构建深度网络的关键。
- 损失函数：如交叉熵、均方误差等，它们定义了模型预测与真实值之间的差异，是训练过程中优化的目标。
- 优化算法：如SGD、Adam、RMSprop等，它们用于更新网络权重，影响模型的收敛速度和性能。
数据预处理技巧
关于数据预处理，数据是深度学习模型的"燃料"，高手们在数据预处理方面有以下心得：
- 归一化：将输入数据缩放到相同的范围，如[0,1]或[-1,1]，有助于加快训练速度并提高模型稳定性。
- 数据增强：通过旋转、缩放、裁剪等方法增加数据多样性，减少过拟合，提高模型泛化能力。
- 批次生成：合理设置批次大小和批次生成方式，可以平衡内存使用和计算效率。
关于《深度学习高手笔记》
接下来给大家推荐一本关于人工智能的书籍，这是一本关于如何学习深度学习的干货图书，一经上市就登上了当当"计算机与互联网"图书排行榜前列。本书从深度学习原理剖析讲起到实战技巧，助大家在人工智能的深度学习领域的学习和使用中轻松上手！另外，关注本文博主，点赞+收藏本文，且在本文评论区评论"深度学习高手"，将选取三名幸运读者送出纸质版《深度学习高手笔记》一本，截止时间：2024.12.24。入手《深度学习高手笔记》传送门：《深度学习高手笔记 卷1：基础算法》(刘岩（@大师兄）)【简介_书评_在线阅读】 - 当当图书或者https://item.jd.com/13484669.html，个人觉得这本书非常的不错，是一本不可多得的好书，值得拥有去学习。这本书真心建议深度学习领域的开发者冲一冲，工资高前景好！
编辑推荐
有别于以卷积神经网络、循环神经网络等基础概念为核心的同类书籍，本书梳理了近10年来深度学习方向诞生的算法，从算法理论、算法源码、实验结果等方面对算法进行分析和介绍，重点讨论深度学习在卷积神经网络、自然语言处理、模型优化等方向的发展历程以及各个算法的优缺点，分析各个算法是如何针对先前算法的若干问题提出解决方案的。
本书共三篇，篇卷积神经网络，从基础骨干网络、轻量级CNN、模型架构搜索3个方向展开，介绍计算机视觉方向的里程碑算法；第二篇自然语言处理，介绍基础序列模型和模型预训练；第三篇模型优化，介绍模型优化方法。
内容简介
本书通过扎实、详细的内容和清晰的结构，从算法理论、算法源码、实验结果等方面对深度学习算法进行分析和介绍。本书共三篇，篇主要介绍深度学习在计算机视觉方向的一些卷积神经网络，从基础骨干网络、轻量级 CNN、模型架构搜索 3 个方向展开，介绍计算机视觉方向的里程碑算法；第二篇主要介绍深度学习在自然语言处理方向的重要突破，包括基础序列模型和模型预训练；第三篇主要介绍深度学习在模型优化上的进展，包括模型优化方法。
通过阅读本书，读者可以深入理解主流的深度学习基础算法，搭建起自己的知识体系，领会算法的本质，学习模型优化方法。无论是从事深度学习科研的教师及学生，还是从事算法落地实践的工作人员，都能从本书中获益。
作者简介
刘岩, 澳门大学计算机科学专业硕士, 目前就职于零售-技术与数据中心。在学生期间从事人工智能相关研究，发表多篇计算机视觉、自然语言处理等方向的专利和学术论文。毕业后从事深度学习相关工作，擅长前沿人工智能算法的原理分析和应用落地，擅长计算机视觉、自然语言处理等方向的技术, 先后参与并负责了多个深度学习算法在不同场景的业务落地，如光学字符识别、公式识别、人脸识别、手势识别、视频抠像、文本分类 命名实体识别、预训练语言模型、语音识别、图神经网络等。目前主要负责电商场景下预训练语言模型的研发以及舆情风险的智能识别与治理。他的知乎账号: 大师兄。
图书目录
第一篇 卷积神经网络
第 1章 基础骨干网络 3
1.1 起源：LeNet-5和AlexNet 4
1.1.1 从LeNet-5开始4
1.1.2 觉醒：AlexNet 6
1.2 更深：VGG 11
1.2.1 VGG介绍11
1.2.2 VGG的训练和测试 13
1.3 更宽：GoogLeNet14
1.3.1 背景知识14
1.3.2 Inception v117
1.3.3 GoogLeNet 19
1.3.4 Inception v219
1.3.5 Inception v320
1.3.6 Inception v421
1.3.7 Inception-ResNet23
1.4 跳跃连接：ResNet 26
1.4.1 残差网络 26
1.4.2 残差网络背后的原理 28
1.4.3 残差网络与模型集成 33
1.5 注意力：SENet 33
1.5.1 SE块 33
1.5.2 SE-Inception 和 SE-ResNet34
1.5.3 SENet 的复杂性分析 35
1.5.4 小结 35
1.6 更密：DenseNet 36
1.6.1 DenseNet 算法解析及源码实现37
1.6.2 压缩层 38
1.6.3 小结 38
1.7 模型集成：DPN 39
1.7.1 高阶 RNN、DenseNet 和残差网络39
1.7.2 DPN 详解41
1.7.3 小结.42
1.8 像素向量：iGPT 43
1.8.1 iGPT 详解44
1.8.2 实验结果分析48
1.8.3 小结 49
1.9 Visual Transformer 之 Swin Transformer 49
1.9.1 网络结构详解50
1.9.2 Swin Transformer 家族59
1.9.3 小结.60
1.10 Vision Transformer 之 CSWin Transformer60
1.10.1 CSWin Transformer 概述61
1.10.2 十字形窗口自注意力机制61
1.10.3 局部加强位置编码 62
1.10.4 CSWin Transformer 块63
1.10.5 CSWin Transformer 的复杂度 63
1.10.6 小结 64
1.11 MLP :MLP-Mixer 64
1.11.1 网络结构 64
1.11.2 讨论 67
第 2 章 轻量级 CNN68
2.1 SqueezeNet 68
2.1.1 SqueezeNet 的压缩策略 69
2.1.2 点火模块 69
2.1.3 SqueezeNet 的网络结构 70
2.1.4 SqueezeNet 的性能 72
2.1.5 小结 72
2.2 MobileNet v1 和 MobileNet v2 73
2.2.1 MobileNet v1 73
2.2.2 MobileNet v2 77
2.2.3 小结 79
2.3 Xception 80
2.3.1 Inception 回顾 80
2.3.2 Xception 详解 81
2.3.3 小结 82
2.4 ResNeXt 82
2.4.1 从全连接讲起83
2.4.2 简化 Inception 83
2.4.3 ResNeXt 详解84
2.4.4 分组卷积 84
2.4.5 小结 85
2.5 ShuffleNet v1 和 ShuffleNet v2 85
2.5.1 ShuffleNet v185
2.5.2 ShuffleNet v288
2.5.3 小结 92
2.6 CondenseNet 92
2.6.1 分组卷积的问题 93
2.6.2 可学习分组卷积 93
2.6.3 架构设计 96
2.6.4 小结 96
第 3 章 模型架构搜索 97
3.1 PolyNet 97
3.1.1 结构多样性98
3.1.2 多项式模型98
3.1.3 对照实验 100
3.1.4 Very Deep PolyNet 101
3.1.5 小结102
3.2 NAS 103
3.2.1 NAS-CNN103
3.2.2 NAS-RNN106
3.2.3 小结 108
3.3 NASNet 108
3.3.1 NASNet 控制器 109
3.3.2 NASNet 的强化学习110
3.3.3 计划 DropPath110
3.3.4 其他超参数111
3.3.5 小结 111
3.4 PNASNet 112
3.4.1 更小的搜索空间 112
3.4.2 SMBO 113
3.4.3 代理函数 114
3.4.4 PNASNet 的实验结果115
3.4.5 小结 116
3.5 AmoebaNet 116
3.5.1 搜索空间 117
3.5.2 年龄进化 118
3.5.3 AmoebaNet 的网络结构120
3.5.4 小结 121
3.6 MnasNet 121
3.6.1 优化目标 122
3.6.2 搜索空间 124
3.6.3 优化策略 125
3.6.4 小结 126
3.7 MobileNet v3 126
3.7.1 参考结构 127
3.7.2 网络搜索 127
3.7.3 人工设计 129
3.7.4 修改 SE 块 131
3.7.5 Lite R-ASPP 132
3.7.6 小结 133
3.8 EfficientNet v1 133
3.8.1 背景知识 133
3.8.2 EfficientNet v1 详解135
3.8.3 小结 137
3.9 EfficientNet v2 137
3.9.1 算法动机 137
3.9.2 EfficientNet v2 详解139
3.10 RegNet 141
3.10.1 设计空间 141
3.10.2 RegNet 详解 145
3.10.3 小结 151
第二篇 自然语言处理
第 4 章 基础序列模型 155
4.1 LSTM 和 GRU 155
4.1.1 序列模型的背景 155
4.1.2 LSTM 157
4.1.3 GRU 159
4.1.4 其他 LSTM 159
4.2 注意力机制 160
4.2.1 机器翻译的注意力机制160
4.2.2 图解注意力机制 161
4.2.3 经典注意力模型 166
4.2.4 小结 170
4.3 Transformer 170
4.3.1 Transformer 详解171
4.3.2 位置嵌入 177
4.3.3 小结 178
4.4 Transformer-XL 179
4.4.1 Transformer 的缺点 179
4.4.2 相对位置编码181
4.4.3 Transformer-XL 详解 183
4.4.4 小结 185
第 5 章 模型预训练 186
5.1 RNN 语言模型 187
5.1.1 语言模型中的 RNN187
5.1.2 训练数据 188
5.1.3 训练细节 188
5.2 ELMo 189
5.2.1 双向语言模型189
5.2.2 ELMo 详解191
5.2.3 应用 ELMo 到下游任务192
5.2.4 小结.192
5.3 GPT-1、GPT-2 和 GPT-3 192
5.3.1 GPT-1：无监督学习193
5.3.2 GPT-2：多任务学习196
5.3.3 GPT-3：海量参数197
5.3.4 小结 200
5.4 BERT 200
5.4.1 BERT 详解 201
5.4.2 小结 205
5.5 BERT"魔改"之 RoBERTa、ALBERT、MT-DNN 和 XLM 205
5.5.1 成熟版 BERT ：RoBERTa 206
5.5.2 更快的 BERT ：ALBERT 207
5.5.3 多任务 BERT ：MT-DNN 207
5.5.4 多语言 BERT ：XLM 209
5.5.5 小结211
5.6 XLNet 211
5.6.1 背景知识.212
5.6.2 XLNet 详解213
5.6.3 小结.216
5.7 ERNIE（清华大学） 216
5.7.1 加入知识图谱的动机217
5.7.2 异构信息融合217
5.7.3 DAE.220
5.7.4 ERNIE-T 的微调220
5.7.5 小结221
5.8 ERNIE（百度）和 ERNIE 2.0 221
5.8.1 ERNIE-B222
5.8.2 ERNIE 2.0.223
5.8.3 小结226
第三篇 模型优化
第 6 章 模型优化方法229
6.1 Dropout 230
6.1.1 什么是 Dropout.230
6.1.2 Dropout 的数学原理231
6.1.3 Dropout 是一个正则网络232
6.1.4 CNN 的 Dropout232
6.1.5 RNN 的 Dropout233
6.1.6 Dropout 的变体234
6.1.7 小结.236
6.2 BN 237
6.2.1 BN 详解237
6.2.2 BN 的背后原理240
6.2.3 小结.243
6.3 LN .243
6.3.1 BN 的问题.244
6.3.2 LN 详解.244
6.3.3 对照实验245
6.3.4 小结247
6.4 WN 247
6.4.1 WN 的计算247
6.4.2 WN 的原理248
6.4.3 BN 和 WN 的关系249
6.4.4 WN 的参数初始化249
6.4.5 均值 BN.249
6.4.6 小结 249
6.5 IN 250
6.5.1 IST 中的 IN250
6.5.2 IN 与 BN 对比250
6.5.3 TensorFlow 中的 IN.251
6.5.4 小结.252
6.6 GN 252
6.6.1 GN 算法252
6.6.2 GN 的源码253
6.6.3 GN 的原理253
6.6.4 小结 253
6.7 SN 254
6.7.1 SN 详解.254
6.7.2 SN 的优点.256
6.7.3 小结 256
媒体评论
如今，我们正处在以深度学习为代表的第三次人工智能热潮中。本书系统地梳理了近10年来的深度学习算法，结构清晰，内容丰富，将深度学习算法的讲解提升到了一个新的高度，是读者深入了解深度学习的不二之选,值得每一位深度学习方向的从业者、研究者和在校学生阅读和学习。
------颜伟鹏 集团副总裁，零售技术委员会主席
《深度学习高手笔记》全书速览
结束语
通过本文的详细介绍，想必大家都已经对深度学习领域有了更深的了解和认识，深度学习是一个不断发展的领域，高手们的经验和技巧可以帮助我们更快地成长。最后，本文总结的一些核心概念、技巧和实战经验，希望能为大家的深度学习之旅提供帮助。随着技术的不断进步，我们应持续学习，不断探索新的知识和技术，期待深度学习带来更加前沿的技能！