【遥感技术】从CNN到Transformer：基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类

我国高分辨率对地观测系统重大专项已全面启动，高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成，将成为保障国家安全的基础性和战略性资源。随着小卫星星座的普及，对地观测已具备多次以上的全球覆盖能力，遥感影像也不断被更深入的应用于矿产勘探、精准农业、城市规划、林业测量、军事目标识别和灾害评估。未来10年全球每天获取的观测数据将超过10PB，遥感大数据时代已然来临。

另一方面，随着无人机自动化能力的逐步升级，它被广泛的应用于多种领域，如航拍、农业、植保、灾难评估、救援、测绘、电力巡检等。但同时由于无人机飞行高度低、获取目标类型多、以及环境复杂等因素使得对无人机获取的数据处理越来越复杂。

面对这些挑战，当前基于卷积神经网络的影像自动识别取得了令人印象深刻的结果。深度卷积网络采用"端对端"的特征学习，通过多层处理机制揭示隐藏于数据中的非线性特征，能够从大量训练集中自动学习全局特征（这种特征被称为"学习特征"），是其在遥感影像自动目标识别取得成功的重要原因，也标志特征模型从手工特征向学习特征转变。同时，当前以Transformer等结构为基础模型的检测模型也发展迅速，在许多应用场景下甚至超过了原有的以CNN为主的模型。虽然以PyTorch为主体的深度学习平台为使用卷积神经网络也提供程序框架。但卷积神经网络涉及到的数学模型和计算机算法都十分复杂、运行及处理难度很大，PyTorch平台的掌握也并不容易。为使广大学者能理解卷积神经网络背后的数学模型和计算机算法，掌握利用PyTorch为基础的遥感影像和无人机影像的分类，目标检测，以及语义分割等应用。

专题一：深度卷积网络知识详解

1. 深度学习在遥感图像识别中的范式和问题

2. 深度学习的历史发展历程

3. 机器学习，深度学习等任务的基本处理流程

4. 卷积神经网络的基本原理

5. 卷积运算的原理和理解

6. 池化操作，全连接层，以及分类器的作用

7. BP反向传播算法的理解

8. CNN模型代码详解

9. 特征图，卷积核可视化分析

专题二：PyTorch应用与实践（遥感图像场景分类）

1. PyTorch简介

2. 动态计算图，静态计算图等机制

3. PyTorch的使用教程

4. PyTorch的学习案例

5. PyTorch的基本使用与API

6.PyTorch图像分类任务介绍

7.不同超参数，如初始化，学习率对结果的影响

8.使用PyTorch搭建神经网络并实现手写数字的分类

9.使用PyTorch修改模型并提升分类模型表现

专题三：卷积神经网络实践与目标检测

1. 深度学习下的遥感影像目标检测基本知识

2. 目标检测数据集的图像和标签表示方式

3. 讲解目标检测模型的评估方案，包括正确率，精确率，召回率，mAP等

4. 无人机影像的植物识别和统计

5. 介绍two-stage（二阶）检测模型框架，RCNN, Fast RCNN, Faster RCNN等框

6. 架的演变和差异

7. 介绍 one-stage（一阶）检测模型框架，SDD ，Yolo等系列模型

8. 现有检测模型「CNN系列」发展小结，包括OHEM、FCN、DCN等模型

专题四：卷积神经网络的遥感影像目标检测任务案例

【FasterRCNN】

1. 一份完整的Faster-RCNN 模型下实现遥感影像的目标检测

2. 介绍数据集的制作过程，包括数据的存储和处理

3. 数据集标签的制作

4. 模型的搭建，组合和训练

5. 检测任数据集在验证过程中的注意事项

专题五：Transformer与遥感影像目标检测

1. 从卷积运算到自注意力运算 self-attention

2. pytorch实现的自监督模块

3. 从Transformer到Vision Transformer (ViT)

4. ViT模型在遥感影像中的应用

专题六：Transformer的遥感影像目标检测任务案例 【DETR】

1. Transformer下的新目标检测范式，DETR

2. 各类模型在遥感影像下的对比和调研

3. 一份完整的DETR模型下实现遥感影像的目标检测

4. 介绍针对检测任务的优化策略

专题七：深度学习与遥感影像分割任务

1. 深度学习下的遥感影像分割任务的基本概念

2. 讲解FCN，SegNet，U-net等模型的差异

3. 分割模型的发展小结

4. 遥感影像分割任务和图像分割的差异

5. 在遥感影像分割任务中的注意事项

案例

² 介绍数据集的准备和处理

² 遥感影像划分成小图像的策略

² 模型的构建和训练方法

² 验证集的使用过程中的注意事项

专题八：深度学习下的ASL（机载激光扫描仪）点云数据语义分类任务的基本知识

1. PointNet与PointNet++等模型的基本讲解

2. 点云数据的预处理和划分

3. 点云数据的语义分割

4. 点云数据的预测结果分析

专题九：遥感影像问题探讨与深度学习优化技巧

1. 现有几个优秀模型结构的演变原理，包括AlexNet，VGG，googleNet，ResNet，DenseNet等模型

2. 从模型演变中讲解实际训练模型的技巧

3. 介绍针对数据的优化策略

4. 介绍针对模型的优化策略

5. 介绍针对训练过程的优化策略

6. 介绍针对检测任务的优化策略

7. 介绍针对分割任务的优化策略

8. 提供一些常用的检测，分割数据集的标注工具