细粒度图像分类是计算机视觉领域的经典难题，其目标是在大类下区分出细微的子类（如区分不同品种的鸟类、汽车、花卉），核心挑战在于"同类差异小、异类相似大"。这如同区分双胞胎兄弟------整体轮廓高度一致，仅能通过眉眼、神态等细微特征分辨，既需要精准捕捉局部关键信息，又要避免被背景、姿态等干扰因素误导。从早期依赖手工设计特征的方法，到深度学习驱动的双线性CNN，再到Transformer赋能的TransFG，细粒度分类技术逐步实现了从"局部特征聚焦"到"全局语义融合"的跨越。本文将从核心挑战、关键技术演进、前沿改进、现存瓶颈及未来展望五个维度，系统解析细粒度图像分类的技术脉络，兼顾理论深度与实操参考。
一、核心挑战：细粒度分类的"细微分辨"困境
细粒度图像分类的难度远超通用图像分类，本质是"细微特征的精准捕捉"与"干扰因素的有效抑制"之间的矛盾，具体可归纳为四大核心挑战：
1.1 细微特征的稀缺性与定位难度
细粒度子类的差异往往集中在局部区域（如鸟类的喙部、羽毛纹理，汽车的车灯、格栅），这些特征在图像中占比极低、辨识度弱，如同"大海捞针"。传统模型难以精准定位这些关键区域，易被背景、主体姿态变化等因素干扰，导致特征提取失效。
1.2 类内差异大于类间差异
同一细粒度子类的样本因姿态、光照、角度不同，外观差异可能远超不同子类的核心差异。例如，同一种鸟类的飞行姿态与栖息姿态，其轮廓差异可能大于两种相似鸟类的轮廓差异，如同"同一人穿不同衣服、做不同动作，比与双胞胎的差异更明显"，大幅增加了分类难度。
1.3 数据标注成本高、样本不均衡
细粒度分类需要专业人员标注（如鸟类品种需鸟类学家确认），标注成本远高于通用分类；同时，部分稀有子类样本数量极少，导致数据分布不均衡，模型易偏向学习样本量大的子类特征，泛化能力受限。
1.4 特征冗余与语义混淆
图像中的背景、无关局部区域（如鸟类周围的树枝、汽车旁的地面）会产生大量冗余特征，这些特征可能与细粒度关键特征语义混淆，导致模型学习到无效信息，降低分类精度。
二、技术演进：从CNN到Transformer的细粒度特征捕捉
细粒度图像分类的技术演进，核心是围绕"精准定位关键局部特征"与"高效融合特征语义"展开，从早期CNN的局部特征强化，逐步过渡到Transformer的全局语义关联，形成了多范式协同发展的格局。
2.1 基础突破：双线性CNN（Bilinear CNN）------ 局部特征的二阶融合
在双线性CNN出现前，细粒度分类多依赖手工设计特征或简单CNN特征拼接，难以捕捉细微特征的复杂关联。2015年提出的双线性CNN，如同"用两个放大镜分别观察局部细节，再融合观察结果"，通过二阶特征融合，实现了细粒度特征表达能力的跨越式提升。
其核心原理是构建两个并行的CNN分支，分别提取图像的局部特征，再通过外积（Outer Product）计算双线性特征，将两个分支的特征进行二阶融合，强化局部特征的关联性与判别力。具体流程如下：
-
两个CNN分支（可共享参数或独立参数）分别对输入图像进行特征提取，得到特征图A（维度H×W×C1）与特征图B（维度H×W×C2）；
-
对两张特征图进行扁平化处理，计算外积得到双线性特征向量（维度C1×C2），捕捉特征间的二阶统计信息；
-
对双线性特征进行L2归一化与降维，输入全连接层完成分类。
双线性CNN的优势在于无需额外的区域定位模块，仅通过特征融合就能强化局部细微特征的表达，但存在明显缺陷：参数量与计算量激增（双线性特征维度极高），易过拟合；且缺乏对关键区域的主动定位，对背景干扰敏感。后续改进版本（如Compact Bilinear Pooling）通过低秩近似降低计算量，一定程度上缓解了效率问题，但核心局限仍未完全解决。
2.2 进阶优化：基于注意力与区域定位的CNN增强
为解决双线性CNN的关键区域定位能力不足问题，研究者引入注意力机制与区域定位模块，让模型主动聚焦细粒度关键区域，如同"人类观察时主动聚焦眉眼等关键部位，忽略无关背景"。代表性方法包括：
-
注意力机制融合：如SENet、CBAM等注意力模块，通过动态调整特征通道或空间权重，强化关键局部特征、抑制冗余背景特征。将注意力模块嵌入双线性CNN分支，可进一步提升特征判别力。
-
弱监督区域定位：在仅提供图像级标签的情况下，通过模型自动挖掘关键区域（如通过类激活映射CAM），再对关键区域进行特征提取与融合。例如，Part-Based R-CNN通过RPN网络生成候选区域，筛选出包含细粒度特征的区域进行双线性融合，提升定位精度。
这类方法通过"定位+融合"的逻辑，大幅提升了细粒度分类精度，但仍受限于CNN的局部感受野，难以捕捉长距离语义关联，且区域定位的准确性依赖大量样本训练，在小样本场景下性能不稳定。
2.3 范式革新：TransFG------Transformer赋能的全局语义融合
随着Transformer在计算机视觉领域的兴起，其全局注意力机制为细粒度分类提供了新的解决思路------打破CNN的局部感受野限制，通过全局关联捕捉细粒度特征与整体语义的联系。2021年提出的TransFG（Transformer for Fine-Grained Classification），如同"用全局视角梳理局部细节的关联"，将ViT与细粒度分类的特性结合，实现了精度与泛化能力的双重突破。
TransFG的核心创新的是针对细粒度分类优化Transformer架构，强化局部特征的全局关联与关键区域聚焦，具体设计包括：
-
细粒度注意力对齐：在ViT的多头自注意力模块中，引入细粒度引导机制，让注意力权重更倾向于细粒度关键区域（如鸟类的喙、爪）。通过对注意力图谱进行约束，避免模型过度关注背景或无关局部。
-
分层特征融合：将Transformer编码器的不同层特征进行融合，底层特征捕捉边缘、纹理等局部细节，高层特征捕捉全局语义，通过分层融合兼顾细粒度细节与整体语境，解决单一特征层表达能力不足的问题。
-
轻量化适配：针对Transformer计算成本高的问题，TransFG通过精简注意力头数量、控制输入序列长度（合理划分图像patch），在保持精度的同时降低计算量，适配细粒度分类的实际应用场景。
TransFG的优势在于：全局注意力机制能有效捕捉细粒度特征的长距离关联，缓解类内差异带来的干扰；无需依赖复杂的区域定位模块，仅通过注意力机制即可聚焦关键区域，在小样本场景下泛化能力更优。实验表明，TransFG在CUB-200-2011（鸟类分类）、Stanford Cars（汽车分类）等经典细粒度数据集上，精度远超双线性CNN及改进版本，成为当前细粒度分类的主流范式之一。
三、前沿改进：拓展细粒度分类的能力边界
近年来，研究者围绕TransFG等核心模型的缺陷（如小样本适配差、计算成本高、跨域泛化弱等），结合注意力优化、知识蒸馏、多模态融合等技术，展开了一系列改进工作，进一步提升细粒度分类的性能与实用性。
3.1 小样本细粒度分类优化
针对细粒度样本稀缺问题，改进方向集中在利用通用特征迁移与少样本学习策略：
-
对比学习预训练：通过自监督对比学习在大规模无标注图像上预训练Transformer，学习通用视觉特征，再通过少量细粒度标注样本微调，强化细粒度特征适配。例如，将MoCo预训练的ViT作为TransFG骨干，在小样本场景下精度提升3~5个百分点。
-
元学习融合：结合元学习的"快速适配"能力，让模型在少量样本上快速学习细粒度特征的判别规则。例如，Meta-TransFG通过元学习优化Transformer的初始化参数，实现仅用10个样本/类即可完成高精度分类。
3.2 效率优化：轻量化Transformer架构
TransFG等模型仍依赖较大规模的Transformer架构，计算成本较高，轻量化改进聚焦于精简结构与注意力计算：
-
稀疏注意力设计：如引入滑动窗口注意力、局部稀疏注意力，仅计算关键patch间的注意力权重，将计算复杂度从O(N²)降至O(N)，在保持精度的同时，推理速度提升2~3倍。
-
混合架构融合：结合CNN与Transformer的优势，前半部分用CNN提取局部特征（高效且低成本），后半部分用轻量化Transformer捕捉全局关联，如ConvNeXt+TransFG混合架构，参数减少40%，精度仅下降1个百分点。
3.3 跨域与噪声鲁棒性提升
针对实际场景中的域偏移（如自然场景与实验室场景的差异）、噪声数据（如模糊、遮挡图像），改进方向集中在域自适应与特征鲁棒性强化：
-
跨域自适应学习：如Domain-Adaptive TransFG通过对抗训练，让模型学习域不变特征，缓解跨域场景下的精度下降，在从自然场景迁移到遥感细粒度分类（如作物品种区分）时，性能提升显著。
-
鲁棒特征学习：引入对抗噪声训练、数据增强策略（如MixUp、CutMix的细粒度适配版本），让模型在噪声干扰下仍能精准捕捉关键特征，提升实际场景的适用性。
3.4 多模态细粒度分类
融合多模态信息（如图像+文本描述、图像+点云），弥补单一图像特征的不足，提升分类精度：
-
图像-文本跨模态融合：如CLIP+TransFG，将文本描述中的细粒度语义信息（如"鸟类具有红色的喙和黑色的羽毛"）与图像特征融合，通过跨模态对比学习强化特征判别力，在零样本细粒度分类场景下表现优异。
-
图像-点云融合：在3D细粒度分类（如3D汽车、文物品种区分）中，融合2D图像特征与3D点云空间特征，通过TransFG的全局注意力融合多模态信息，提升分类的准确性与鲁棒性。
四、当前研究挑战：细粒度分类的"能力天花板"
尽管从双线性CNN到TransFG的技术演进大幅提升了细粒度分类性能，但在极端场景适配、实用化落地等方面仍存在瓶颈，也是当前研究的核心热点：
4.1 极端小样本与零样本场景性能有限
在每类样本≤5个的极端小样本，或完全无标注的零样本场景下，现有模型仍难以精准学习细粒度特征的判别规则。通用预训练特征与细粒度任务特征存在语义鸿沟，如同"用通用知识解决专业难题"，适配性不足。
4.2 实时性与精度的平衡困境
Transformer-based模型虽精度优异，但计算成本高、推理速度慢，难以适配移动端、实时监控等对 latency 敏感的场景。轻量化改进虽能提升速度，但往往伴随精度损失，如何实现"高精度+实时性"的双重突破，是工业落地的核心障碍。
4.3 复杂干扰场景的鲁棒性不足
在严重遮挡、低光照、模糊、姿态剧烈变化等复杂场景下，细粒度关键特征易被破坏或遮挡，现有模型的注意力机制难以精准聚焦有效特征，分类精度大幅下降，如同"在浓雾中区分双胞胎"，难度极大。
4.4 可解释性与可靠性欠缺
Transformer与CNN模型均存在"黑箱"特性，难以解释模型为何基于某一特征将样本分类为特定子类，且缺乏不确定性估计能力。在医疗、文物鉴定等对可靠性要求高的细粒度场景中，可解释性不足限制了其应用落地。
五、总结与展望：细粒度分类的未来演进方向
5.1 核心技术总结
细粒度图像分类的技术演进，本质是"从被动捕捉局部特征到主动聚焦关键区域、从局部特征融合到全局语义关联"的过程。双线性CNN奠定了细粒度特征二阶融合的基础，注意力与区域定位技术强化了关键特征捕捉能力，TransFG则通过Transformer的全局注意力机制，实现了细粒度特征与语义关联的深度融合，形成了当前的主流范式。现有技术已能在标准数据集上实现较高精度，但极端场景适配、实用化落地等难题仍需突破。
5.2 未来研究与应用展望
结合当前研究趋势与技术瓶颈，细粒度图像分类将向"高效化、鲁棒化、可解释化、多模态融合"四大方向演进，以下四个方向值得重点关注：
-
小样本/零样本的精准化适配：结合提示学习、自监督学习，优化预训练特征与细粒度任务的适配性；引入知识图谱，将细粒度类别间的语义关系融入模型，提升零样本场景下的分类精度。
-
极致轻量化与实时性优化：基于硬件感知神经网络搜索（NAS），设计适配特定硬件的轻量化Transformer架构；结合模型压缩（量化、剪枝）与推理优化（TensorRT加速），在移动端、边缘设备上实现实时细粒度分类。
-
复杂场景鲁棒性强化：引入因果推理，让模型学习细粒度特征与类别间的因果关系，减少干扰因素的影响；结合动态注意力机制，让模型在遮挡、模糊场景下自适应调整注意力焦点，捕捉残存的关键特征。
-
可解释性与多场景落地：探索注意力图谱可视化、特征归因分析等方法，提升模型可解释性；针对医疗、文物鉴定、农业育种等细分场景，设计定制化模型（如适配医疗影像细粒度的TransFG变体），推动技术落地应用。
细粒度图像分类的技术突破，不仅具有重要的学术价值，更能赋能众多实际场景的智能化升级。随着Transformer架构的持续优化、多模态融合技术的发展，未来细粒度分类模型将在极端场景适配、实时性、可解释性等方面实现突破，进一步缩小技术与实际应用的差距。对于研究者而言，围绕"精度-效率-鲁棒性"的核心矛盾，结合前沿技术探索架构与策略创新，既能产出具有学术影响力的成果，又能为工业落地提供关键技术支撑。