基于Grad-CAM(Gradient-weighted Class Activation Mapping)的可解释性分析

主要思想:在看某个类别c预测时,最后一层卷积特征图里,哪些空间位置对该类别的得分贡献最大。

为什么选用最后一层卷积特征图:1)语义最强 ,厚层聚合了大量前层证据,学到的往往是高级形态(核形、颗粒、核染色、Auer小体等),更贴近临床语言,早层只会告诉你"这里有条纹/对比度高";2)保留空间分辨率 ,最后一层卷积"是最靠近分类器且仍有空间网格 的位置,用它做热力图,既类相关又能定位到细胞/核区域;3)感受野刚刚好 ,随着层级的加深,感受野逐渐增大,最后几层的感受野已经足够覆盖整个细胞或其关键结构,而不是零碎纹理;4)数值更稳定 ,早层梯度非常嘈杂、容易受颜色/纹理干扰;最后一层卷积的梯度更类相关,热力图稳定性好。这是语义性、空间性和稳定性的折中点。

回答两个问题:1)这些探测器里,谁对这次"某类别 c"的判断更关键 ?2)在图上的哪些位置真正"驱动"了这次 c 的判定?

实现过程过程:

最后一层卷积的第k个通道特征图Ak,H*W维(这里要计算所有通道);

类别c的logit:yc(这个是什么:是模型对类别c的原始打分,还没有经过softmax和sigmoid的数值,一个样本对每个类别都会计算出一个值);

计算通道权重(通过梯度给每个通道分配话语权):

类别c的Grad-CAM热力图(未上采样前):

把Lc双线性差值回到输入大小,叠加到原图即可可视化(这一步是如何操作的)

适用于哪些情况:Grad-CAM 主要适用于有卷积层、能保留空间结构的深度学习模型(典型是 CNN 及其变体)。在 ViT 等 Transformer 中也能通过改造应用;而对没有空间维的模型(RNN、MLP),则不合适。

相关推荐
love530love1 天前
【排障实录】GPT Desktop (Codex) 开启 WSL 智能体模式后无法启动?手把手教你修复
人工智能·windows·gpt·agent
何时梦醒1 天前
# ⚛️ React 19 + TypeScript 深度学习笔记 —— 从组件化思维到 WebGPU 端侧 AI 落地(续)
人工智能·react.js
小刘学技术1 天前
AI人工智能中的类别不平衡问题:成因、影响与解决方案
开发语言·人工智能·python·机器学习
阿拉雷️1 天前
部署实战】Docker + AI Agent:让AI一键部署Spring Boot到服务器,从打包到上线只要一条指令
人工智能·spring boot·docker
饼干哥哥1 天前
我用千问3.8跑通了Reddit自动海外获客部门,成本砍 10 倍!
人工智能·开源·创业
武子康1 天前
Claude Code 权限分析器为什么必须 Fail Closed:v2.1.214 暴露的 5 类边界 + 6 类不能推出的结论
人工智能·ai编程·claude
元直数字电路验证1 天前
深入理解 AI Agent:从模型能力到生产级系统的完整路线图
人工智能·langchain·aigc·agent·智能体
zyplayer-doc1 天前
研发接口文档怎么长期维护:zyplayer-doc把API、Markdown和变更记录放进同一个知识库
大数据·数据库·人工智能·笔记·pdf·ocr
赋创小助手1 天前
AMD Helios AI机架技术详解:72颗MI455X、EPYC Venice与UALoE架构
人工智能·架构·amd·amd helios ai机架·mi455x·epyc venice·ualoe架构
动物园猫1 天前
PCB表面缺陷目标检测数据集:6类别、3,500张图像 | 目标检测
人工智能·目标检测·计算机视觉