目录
[01 文章摘要](#01 文章摘要)
[02 研究背景、目标及创新点](#02 研究背景、目标及创新点)
[03 研究区域与数据集](#03 研究区域与数据集)
[04 研究方法](#04 研究方法)
[05 研究结果](#05 研究结果)
[06 研究讨论](#06 研究讨论)
[07 研究结论](#07 研究结论)
[08 文章引用](#08 文章引用)
文章简介
论文名称 **：**Mapping tobacco planting areas in smallholder farmlands using Phenological-Spatial-Temporal LSTM from time-series Sentinel-1 SAR images（基于时序Sentinel-1 SAR影像小农耕作区烟草空间分布制图）
**第一作者及通讯作者：**李蒙蒙副研究员（兼通讯）
**第一作者及通讯作者单位：**福州大学数字中国研究院（福建）
文章发表期刊： 《International Journal of Applied Earth Observation and Geoinformation》（中科院1区Top期刊|最新影响因子：7.5）
**期刊平均审稿速度：**4-8周
**文章关键词：**烟草制图;物候-时空LSTM (PSTLSTM)；物候知识；时间序列SAR图像；小农耕作
01 文章摘要
作物生长的物候信息有助于从遥感图像中识别作物类型，但将其纳入分类模型尚未得到充分利用，特别是在深度学习框架中。基于Sentinel-1合成孔径雷达(SAR)影像，提出了一种基于物候-时空LSTM (PST-LSTM)的小农烟草种植面积制图新模型。PST-LSTM模型建立在多模态学习框架上，该框架融合了物候信息和深度时空特征。我们应用该模型提取了福建省宁化县、浦城县、上杭县和云南省罗平县的烟草种植面积。将PST-LSTM与现有的基于物候规则的方法和动态时间翘曲(DTW)方法进行了比较，并分析了其特征融合的强度。结果表明，该模型在宁华地区的总体准确率(OA)为93.16%，高于物候规律和DTW方法的86.69%和85.93%。PST-LSTM在特征层面有效地整合了时间序列数据和不同策略得到的物候信息，在决策层面优于现有的基于模糊集的特征融合方法。使用宁化市的样本应用于不同研究区域时，该方法的空间可转移性优于其他方法，浦城、上杭和罗平地区的OA分别为90.95%、91.41%和80.75%。我们认为，PST-LSTM可以有效地从时间序列SAR图像中提取小农烟草种植面积，并具有绘制其他作物类型的潜力。
02 研究背景、目标及创新点
1.研究背景
①小农农业被定义为土地面积少于 2 英亩的农场，对于全球粮食供应和安全至关重要，尤其是在欠发达国家和地区。根据联合国粮食及农业组织(FAO)，三分之一的全球现金作物种植在小农农场。然而，小农农业面临着缺乏技术支持、产量低、利润不足等挑战，这可能会对农民的生计产生不利影响。因此，作物种植的空间信息对于小农农业的许多农业生产和管理应用至关重要。
②烟草是一种典型的全球经济作物，为农民提供的收入高于许多粮食作物。然而，决策者必须控制烟草种植面积的范围，以确保有足够的土地种植粮食作物，保障粮食安全。
③大量遥感图像的日益可用性为作物类型制图提供了可能的机会。然而，只有少数研究集中在烟草制图上。烟草通常种植在空间格局分散的小农地里，这对准确提取构成了挑战。
④现有的作物制图方法主要是基于遥感影像物候变量、传统机器学习和深度学习方法，深度学习已经成为一种流行的作物制图方法，因为它可以自动从时序遥感图像中提取高级特征，捕获时间和空间信息，因此优于传统的机器学习算法。
2.研究目标及创新点
本研究旨在建立一种新的物候-时空长短期记忆(PST-LSTM)模型，将物候知识与时序遥感数据的时空特征相结合，以准确地绘制小农烟草种植地图。PST-LSTM模型是在一个多模态学习框架中构建的，该框架可以自动提取和融合物候、空间和时间等多维特征。
- PST-LSTM模型将作物物候变化知识与时间序列遥感数据的时空特征相结合，准确提取小农烟草种植情况。2)端到端整合不同形态的物候信息，学习高级特征，对应特征层的信息融合。该方法在决策层面优于使用模糊集的信息融合。3)应用于不同区域烟草种植图，具有良好的空间可移植性。
03 研究区域与数据集
本研究选取了福建省南平市浦城县、三明市宁化县、龙岩市上杭县和云南省曲靖市罗平县四个研究区域作为所提出的模型的试验区域。这些地区的特点是山地地形和小而不规则、支离破碎的农田，这使得提取烟草种植区变得困难。
图1|福建省浦城（PC）、宁化（NH）、上杭（SH）和云南省罗平（LP）的研究区域概述。（a-e）中的背景图像是指RGB合成中的Sentinel-2和GF1图像
烟草是研究区的主要经济作物，罗平是中国最大的烟草产区。烟草种植生命周期有四个主要阶段：层压、移植、生长和收获（图2）。在层压阶段，农田通常在烟草移植前覆盖塑料薄膜。在宁化，烟草主要生长在2月至5月，生命周期约100天，5月底收获，持续约40天。罗平和其他三个地区的烟草种植时间各不相同，这些地区的烟草主要生长在5月至10月。
图2|宁化地区烟草种植日历，DoY表示一年中的哪一天
本研究使用来自Sentinel-1 A（S1A）卫星的时间序列SAR图像，具有VV和VH双极化以及C波段，在地面范围检测（GRD）产品级别上进行的研究。研究在福建省的三个研究区域获取的S1A数据覆盖了烟草种植的所有生长阶段，时间跨度为2020年1月至9月，其中在罗平的研究区域数据获取时间为5月至10月（如图3）。
图3|本研究中使用的时间序列S1A图像的获取日期
为了训练本研究的模型，本研究从宁化研究区的 Sentinel-2 和谷歌地球图像中收集了28,231个烟草的地面真实像素和22,111个其他类别的地面真实像素（见图1a）。为了进行测试，收集了152个烟草田点位（或样本像素），包括49个在宁化、33个在浦城和70个在上杭，以及60个其他类别的野外点位，包括14个在宁化、41个在浦城和5个在上杭。地面真实测试数据是在2021年5月使用手持式全球定位系统（GPS）设备和相机进行实地采集的。此外，还根据不同地区的 Sentinel-2、GF-1 和谷歌地球图像进行了分层抽样，收集了更多的测试样本（见表1）。具体来说，在每个区域，使用了两张在烟草生长不同阶段捕获的 Sentinel-2 图像（除了罗平的 GF-1 图像），以及高分辨率的谷歌地球图像来解释烟草样本，根据这些图像中观察到的视觉特征（即图像颜色、色调、纹理和上下文信息）（见附录中的图A1）。
表1|为不同研究领域收集的测试数据集的详细信息
04 研究方法
1.研究方法概述
本研究利用所提出的PST-LSTM模型对时间序列SAR数据进行烟草制图框架如图4所示。
图4|时间序列S1A图像中烟草提取的PST-LSTM模型的体系结构PST-LSTM统一物候、时间和空间特征:(1)BiFFM模块融合物候变量和时间序列SAR数据，捕获物候和时间特征;(2)融合特征通过具有注意机制的LSTM网络，增强物候特征和时间特征的提取;(3) FCN模块提取空间特征。TSC是指时空卷积块
本研究的制图框架包括四个主要步骤:
(1)SAR图像预处理（包括Apply-Orbit-File、辐射校准、地形校正和散斑滤波操作）;
(2)基于时间剖面构建现象学变量（本研究构建了烟草生长的时间剖面，如图5所示，并得出了两个物候变量，即GA（Growth Amplitude）和GL（Growth Length），GL变量通过取移栽期的DoY值与收获开始时的差值来计算，如式1所示，GA变量计算为移栽期VH值与收获开始时的差值，如式2所示，这些变量用于创建决策规则并产生物候特征图，如图6所示）;
GL = DoYstartofharvest - DoYtransplanting (1)
GA = VHstartofharvest - VHtransplanting (2)
图5|宁化研究区烟草、水稻和玉米样品的VH和VV时间分布。一种常见的作物种植方法包括轮种烟草和水稻。烟草收获后，农民们开垦灌溉农田，为种植水稻做准备
图6|烟叶生长的物候变量(GL和GA)来源于烟叶VH的时间分布
(3)PST-LSTM模型构建（将物候特征与时空特征相结合），如图4所示，该模型有三个主要组成部分:双向特征融合模块(BiFFM)、注意长短期记忆网络(Attention LSTM)和全卷积模块(Fully Convolutional Module)；具体而言，BiFFM模型融合了与物候变量相关的多模态输入数据和时间序列SAR数据，而Attention LSTM网络提取了高级的时间-时间特征，FCN模块用于从时间序列SAR数据中提取高级空间特征，最后，结合物候、时间和空间特征进行作物识别。
(4)使用PST-LSTM提取烟草。
2.表现评估
（1）与现有方法的比较
为了评估所提出的PST-LSTM模型在烟草提取中的有效性，本研究将其与物候规则和DTW方法两种现有方法进行了比较。对于物候规则方法，本研究使用高斯隶属函数构造了两个关于物候变量GL和GA的模糊隶属函数。对于 DTW 方法，首先计算了 VH 和 VV 通道的 DTW 距离，然后使用了与上述相同的模糊方法来识别烟草像素。
（2）与不同数据融合方法的比较
为了研究 PST-LSTM 在信息融合方面的优势，将其与融合特征和决策级别的物候信息的不同方法进行了比较。
2.精度评估
本研究使用五种基于像素的衡量方法评估了从PST-LSTM模型获得的烟草制图的准确性:精度(P)、召回率(R)、总体精度(OA)、Kappa系数和F1分数。采用McNemar检验不同提取方法对烟草提取效果的显著性。
3.实施细节
研究使用标准化将训练和测试数据归一化到[-1,1]范围，并使用Adam优化器进行模型训练，学习率为10^-3。在模型训练过程中，将训练数据集进一步随机分成训练子集和验证集，比例为9:1。采用分类交叉熵损失函数，批量大小和迭代次数分别设置为128和50。为了减轻过拟合，将dropout层的丢弃率设置为0.8，并参考Karim等人（2019年）的最优参数，使用NVIDIA GeForce RTX 3070Ti GPU实现模型，PST-triplet和LSTM模型的参数设置与PST-LSTM模型相同。
05 研究结果
1.物候变量的构建
图7显示了VH时间剖面产生的生长长度(GL)和生长幅度(GA)物候变量。在描述烟草栽培区域时，GA变量通常比GL变量更有效。具体来说，由于烟草生长过程中VH的增加，烟草区域的GA值呈正值。然而，本研究观察到物候变量表征烟草种植面积的能力在不同的研究区域是不同的，特别是在GL变量方面。例如，由于这些区域年平均气温较高，NH 和 SH 地区烟草的成熟期与 PC 和 LP 地区相比较短，有利于烟草栽培。这表明物候学变量具有较弱的表征不同区域的能力。
图7|PC、NH、SH和LP研究领域子集的生长长度(GL)和生长幅度(GA)物候变量。黑色多边形表示真实的烟草种植区域。第一行的背景图像是指RG合成的Sentinel-2图像
2.消融测试
本研究进行了消融研究，以研究不同模块对 PST-LSTM 模型的影响。通过去除 BiFFM、FCN 和 BiFFM 和 FCN 模块构建了三个 PST-LSTM 变体，并应用这些模型提取宁华烟草种植区域。表 2 显示了使用不同模型的烟草提取精度。没有 BiFFM 模块的 PST-LSTM 模型仅从时间序列数据中提取时间和空间特征，总体准确率 (OA) 为 90.11%，低于 PST-LSTM 模型。这表明物候信息对于准确的烟草提取的重要性。没有 BiFFM 和 FCN 模块的 PST-LSTM 模型，指的是 Attention LSTM，导致 OA 为 88.21 %，低于其他模型。这些结果证明了 PST-LSTM 模型的显着优势和潜在，该模型在烟草提取中以统一的方式学习现象学、时间和空间信息。
表2| PST-LSTM 与 NH 测试区域中变体模型之间的烟草提取比较。P、R 和 OA 分别指精度、召回率和整体精度
本研究在 PST-LSTM 及其变体模型（表 3）之间进行了统计检验（即 McNemar 检验）。该表显示，PST-LSTM 模型获得的结果的准确性明显高于没有 BiFFM 模块、FCN 模块和 BiFFM 和 FCN 模块的模型。
表3|McNemar 检验的总结，以比较 PST-LSTM 与其在 NH 测试区域中的变体模型之间的烟草提取结果
3.PST-LSTM模型的性能评估
（1）与现有方法的比较
本研究使用五种准确度措施评估了不同方法的烟草提取（表 4）。PST-LSTM 模型达到了 93.16% 的最高 OA，超过了物候规则 (86.69%) 和 DTW 方法 (85.93%)。图 8 显示了与物候规则和 DTW 方法相比，使用 PST-LSTM 提取的烟草，表明 PST-LSTM 提取的烟草种植区域与真实地面高度一致。
表4|NH试验区PST-LSTM法、物候规则法和DTW法提取烟草的比较
图8|利用PST-LSTM模型、物候规律和DTW方法对NH试验区A、B两个子区烟草提取结果进行论证。背景图像为RGB合成的Sentinel-2图像
（2）特征级数据融合的有效性
为了研究 PST-LSTM 模型在特征级别上对多模态数据融合的性能，研究将其与 PST-triplet 进行了比较，后者使用三个分支分别学习物候、时间和空间特征。图 9 比较了使用我们方法和 PST-triplet 模型提取的烟草的准确性，结果显示 PST-LSTM 模型在大多数准确性指标上产生了更高的提取准确性，表明本研究提出的方法在特征级别上融合多模态数据的有效性。
图9|在 NH 测试区域中 PST-LSTM 模型和 PSTtriplet 模型之间对烟草提取的比较。P、R 和 OA 分别指精确度、召回率和总体准确度
图 10 显示了由 PST-LSTM 和 PST-triplet 模型生成的烟草提取结果，揭示了 PST-triplet 模型比本研究的方法存在更多的误判区域，如黄色闭合区域所示。
图10| 在 NH 测试区域的两个子区域（C 和 D）中，使用 PST-LSTM 模型和 PST-triplet 模型进行的烟草提取结果演示。背景图像为 Sentinel-2 的 RGB 合成图像。
（3） 在决策级别与数据融合方法的比较
为进一步评估PST-LSTM模型在多模态数据融合上的有效性，我们将其与基于模糊集的现有数据融合方法进行了比较，即f(MV, MLSTM)。表5展示了PST-LSTM和f(MV, MLSTM)在宁化研究区提取烟草种植区的准确度。我们的方法产生了比f(MV, MLSTM)更高的总体准确度、F1分数和Kappa系数。图11显示了PST-LSTM模型和f(MV, MLSTM)提取的种植区，表明我们的方法与地面真实数据的提取结果更一致，而f(MV, MLSTM)提取结果中存在更多的误报。
图11|利用PST-LSTM模型和宁化研究区现有决策层数据融合方法(即F (MV, MLSTM))对NH试验区E、F两个子区烟草提取结果进行论证。背景图像为RGB合成的Sentinel-2图像
（4） PST-LSTM融合不同方法导出的物候信息的适应性
为了评估PST-LSTM模型在整合来自不同方法导出的物候信息方面的适应性，我们对使用物候规则和DTW不相似度导出的物候信息进行了提取结果的比较，对应于PST(Fv, FLSTM)和PST(FDTWdis, FLSTM)。图12展示了PST(Fv, FLSTM)、PST(FDTWdis, FLSTM)以及两种决策级别融合方法f(Mv, MLSTM)和f(MDTWdis, MLSTM)在NH测试区提取烟草种植区的准确度。两种方法PST(Fv, FLSTM)和PST(FDTWdis, FLSTM)均优于两种决策级别融合方法，即f(Mv, MLSTM)和f(MDTWdis, MLSTM)。PST(Fv, FLSTM)的提取准确度略优于PST(FDTWdis, FLSTM)。
图12|PST(Fv , FLSTM ) 和 PST(FDTW dis , FLSTM ) 提取的烟草种植区域的准确性，以及 NH 测试区域中两种决策级融合方法 f (Mv , MLSTM ) 和 f (MDTW dis , MLSTM )
4.可迁移性测试
图13显示了NH、PC、SH和LP地区烟草生长的VH时间剖面图。虽然这些地区的烟草生长模式相似，但不同地区的移栽和采收日期有所不同。为了评估PST- lstm(即PST(Fv,FLSTM))模型在不同地区识别烟草的可移植性，研究将NH地区收集的样本训练的模型用于提取PC、SH和LP地区的烟草种植面积。将PST-LSTM模型与物候规律和DTW方法的迁移结果进行了比较，进一步验证了PST-LSTM模型的空间可迁移性。
图13|四个研究区烟草生长VH变量的时间分布
表 6 显示了从 NH 区域转移样本到 PC、SH 和 LP 区域的提取准确度。使用 NH 样本训练的 PST-LSTM 模型在使用自 1 月至 9 月的时间序列 SAR 图像提取 SH 区域时，产生了 91.41% 的总体准确度，而在使用自 1 月至 9 月的时间序列 SAR 图像提取 PC 区域时，产生了较低的总体准确度（即 68.99%）。这种较低的准确度可能是由于 NH 区域和 PC 区域的种植日期差异造成的。为了减少这种影响，研究将使用 NH 样本训练的 PST-LSTM 模型应用于 PC 区域，在烟草生长周期内使用时间序列数据进行烟草提取，称为 PCphen，产生了更高的 90.95% 的总体准确度。同样，本研究的模型在 LP 区域产生了 80.75% 的总体准确度（LPphen）。显然，这个表格表明本研究的模型在这四个区域中实现了更高的空间可迁移性，相比于物候规则和 DTW 方法。PST-LSTM 模型的转移烟草提取结果显示在图 14 中。
表6 PST-LSTM模型的可迁移性评价、物候规律和DTW方法。PCphen和LPphen表示烟草生长周期中时序SAR图像的使用
图14|PST-LSTM模型用NH地区收集的样本训练后的PC、SH和LP地区的烟草提取结果。PC和SH的背景图像为Sentinel-2图像，LP为GF1图像
06 研究讨论
1.PSTLSTM对物候、时间和空间特征进行统一
本研究在PST-LSTM模型中加入了BiFFM模块，以融合物候知识，提高了模型的性能。本研究还利用了LSTM和FCN模块来提取时间和空间特征。未来研究可以探索更多物候变量，并优化处理时间序列SAR数据的方法。同时，考虑采用Transformer模型以替代FCN，以更好地表征空间信息。
2.PST-LSTM的适用性
本研究使用10米分辨率的S1 SAR图像在四个山区小农场进行了方法性能评估，准确度达到80%以上，表明S1 SAR数据适用于小农场的作物制图。本研究的PST-LSTM模型在尚杭地区成功提取了烟草种植区，但在浦城地区准确度较低，可能是由于不同的种植日期。为提高准确度，在宁化训练PST-LSTM模型时使用了覆盖整个烟草生长周期的时间序列SAR图像。虽然本研究使用了2021年野外调查样本评估了2020年S1 SAR数据的提取结果，但研究认识到消除SAR数据和调查样本之间的时间差异有助于更精确地评估。未来的研究可以探索直接从遥感图像中派生的农田级别的作物制图。
07 研究结论
(1)基于Sentinel-1A时间序列数据的PST-LSTM有效提取烟草种植的时空和物候特征，用于小农烟草制图;
(2) PST-LSTM在烟草制图方面优于基于物候规律的方法和DTW方法，93.16% 的总体精度高于物候规则 (86.69%) 和 DTW 方法 (85.93%)；
(3) PST-LSTM 在特征级别自适应地整合来自不同模态的时间序列数据和现象信息（即物候变量和 DTW 差异），优于现有的三元组模型（即PST-triplet）用于特征级融合，模糊集用于决策级融合；
(4) PST-LSTM 在应用于不同的研究领域时表现出良好的空间可迁移性，浦城、上杭和罗平中烟草提取的整体准确率分别达到 90.95 %、91.41% 和 80.75 %，使用在宁化收集的样本。
08 文章引用
**文献来源：**Mengmeng Li, Xiaomin Feng, Mariana Belgiu,Mapping tobacco planting areas in smallholder farmlands using Phenological-Spatial-Temporal LSTM from time-series Sentinel-1 SAR images,International Journal of Applied Earth Observation and Geoinfor-mation,Volume 129,2024,103826,ISSN 1569-8432,https://doi.org/10.1016/j. jag.2024.103826.