深度学习加速
综述文档： https://chenzomi12.github.io/02Hardware01Foundation/02ArchSlim.html
winograd: https://zhuanlan.zhihu.com/p/260109670
ncnn
1.修改模型结构，优化模型内存访问次数，加速。
VGG 和 InceptionNet ： 将5x5卷积替换成两个3x3卷积，既提升了网络深度，又减少了参数量.
MobileNet :深度可分离卷积，最后用1x1卷积组合，直接大量缩减模型参数量。
DenseNet 和 GhostNet ：Reuse Feature Map，复用之前层的featureMap。
2.分布式训练
torch.nn.parallel.DistributedDataParallel： 在多个GPU复制一份模型副本，单独计算batch,计算完后，平均梯度值再广播到所有GPU，更新。
3.矩阵乘法（卷积转为矩阵乘法）
- 多线程
- 算法改进（Fast Fourier Transform、Strassen、Winograd）
知识蒸馏
1.自蒸馏：Be Your Own Teacher: Improve thePerformance of Convolutional Neural Networks viaSelf Distillation；
经典论文：
attention: https://arxiv.org/pdf/1706.03762
mobilenet系列
pix2pix
ALIKED
论文解读
ALIKED
1.结构？
4个block，通过1x1卷积+上采样组合所有block的特征，然后通过一个SMH (Score Map Head )得到Score Map，再通过DKD模块(NMS)得到特征点位置（64x64x128），同时得到对应点的描述子。
2.卷积无法保证提取到的点是仿射不变的?aliked中怎么解决该问题的？
答：因为卷积带有特定模式，比如检测横线的卷积，在特征图做仿射变换后变成非横线，卷积就检测不到了。
ATTENTION IS ALL YOU NEED
1.QKV结构，QKV是通过输入做Linear得到，Linear的权重为可学习参数；
2.通过QK点乘，得到对应的V的重要程度权重，再用权重与V乘，得到每个v加权后的注意力值；
3.QK点乘实际是计算的余弦相似度。
工具：
神经网络可视化工具（每一层输出的可视化，用以指导每层网络的设计是否合理）：https://blog.51cto.com/u_16099181/8552104
Winograd
卷积运算转为矩阵乘法后，存在很多重复值，等效稀疏矩阵，比普通矩阵实际少很多计算量。