t-SNE可视化降维技术(以FMTrack频率感知与多专家融合文章中的内容为例)

一,相关概念和流程

在图像识别任务中,模型输出的高维特征往往难以直接解读。t-SNE(t-Distributed Stochastic Neighbor Embedding)作为一种非线性降维技术,能够将高维数据映射到二维或三维空间,保留数据局部结构的同时揭示潜在分布模式

二,实例

图中的红色点代表目标(Target)蓝色点代表背景(Background)。我们可以通过对比 (a) 和 (b) 得到以下三个核心结论:

1. 判别性的增强:从"纠缠"到"对立"

  • 左图 (a) Baseline :可以看到红色点和蓝色点之间有大量的重叠和交叉。这说明基础模型在处理特征时,有些背景长得太像目标,或者目标特征不够纯净,导致模型"傻傻分不清楚"。在跟踪时,这种情况很容易导致红框跟丢,去跟了背景里的电线杆或树木。
  • 右图 (b) FMTrack :红色点和蓝色点形成了两个完全独立、互不干涉的集群(Clusters) 。它们之间的空隙非常大。这说明 FMTrack 提取的特征具有极强的判别性(Discriminative power)。

2. 验证了"频率感知"和"专家融合"的有效性

论文作者放这张图的目的是为了证明:

  • 频率感知 (FIN):通过提取 RGB 的边缘细节和 TIR 的稳定轮廓,模型把目标和背景在特征层面上彻底"撕开"了。
  • 互补信息 (Complementary information) :正如图下的文字所说,FMTrack 能够更准确地利用模态间的互补信息,使得目标与背景之间的分布边界(Boundary)被显著扩大了

3. 与预测公式的联系

这张图解释了为什么公式 (15) 的 能奏效:

  • 在 (a) 的情况下,由于红蓝点交织,得分图可能会在背景处也产生很高的分值,导致 argmax 选错点。
  • 在 (b) 的情况下,目标(红点)在特征空间里极其突出。这意味着在生成的得分图上,只有目标中心会有唯一的、极高的能量点,而背景区域的分值会非常低。

这是在浏览器上找的图

图来源:

高分SCI必备!t-SNE降维,2个应用示例,特征可视化,可解释性,深度学习故障识别,回归预测的必备工具!不信你还不会!-CSDN博客

参考文章:

一文搞懂t-SNE和UMAP降维方法! - 知乎

深入解析:图像识别t-SNE图与结果可视化实践指南-百度开发者中心

相关推荐
网易云信14 小时前
9.9 元领 3 亿 Token,这个夏天实现 AI 自由!
人工智能·aigc·产品
网易云信14 小时前
全框架覆盖!网易智企IM鸿蒙生态适配再进一步
人工智能·aigc·harmonyos
字节跳动视频云技术团队14 小时前
从生成到交付,音视频 Agent 要有生产级开发套件
人工智能·音视频开发
网易云信15 小时前
重磅认证!网易智企智能融合通信获鸿蒙生态权威认可,斩获「Harmony Trusted SDK」认证
人工智能·后端·aigc
吴佳浩15 小时前
DeepSeek DSpark:Confidence-Scheduled Speculative Decoding 技术解析
人工智能·算法·deepseek
网易云信15 小时前
网易智企IM Web体验馆:一站式在线体验即时通讯
人工智能·后端·aigc
阿里云大数据AI技术15 小时前
StarRocks x Fluss x Paimon湖流一体方案:构建秒级响应、湖流一体的实时数据引擎
大数据·人工智能
触底反弹16 小时前
🧠 搞懂 Token,才算真正入门大模型——从分词原理到 Embedding 语义实战
javascript·人工智能·算法
网易云信16 小时前
AI 赋能·重构硬件交互:硬件分论坛精彩回顾
人工智能·aigc·线下活动
阿里云大数据AI技术16 小时前
MaxCompute Agentic 工具套件首发:面向所有 Agent 提供标准化数据服务
人工智能·agent