基于Grad-CAM(Gradient-weighted Class Activation Mapping)的可解释性分析

主要思想:在看某个类别c预测时,最后一层卷积特征图里,哪些空间位置对该类别的得分贡献最大。

为什么选用最后一层卷积特征图:1)语义最强 ,厚层聚合了大量前层证据,学到的往往是高级形态(核形、颗粒、核染色、Auer小体等),更贴近临床语言,早层只会告诉你"这里有条纹/对比度高";2)保留空间分辨率 ,最后一层卷积"是最靠近分类器且仍有空间网格 的位置,用它做热力图,既类相关又能定位到细胞/核区域;3)感受野刚刚好 ,随着层级的加深,感受野逐渐增大,最后几层的感受野已经足够覆盖整个细胞或其关键结构,而不是零碎纹理;4)数值更稳定 ,早层梯度非常嘈杂、容易受颜色/纹理干扰;最后一层卷积的梯度更类相关,热力图稳定性好。这是语义性、空间性和稳定性的折中点。

回答两个问题:1)这些探测器里,谁对这次"某类别 c"的判断更关键 ?2)在图上的哪些位置真正"驱动"了这次 c 的判定?

实现过程过程:

最后一层卷积的第k个通道特征图Ak,H*W维(这里要计算所有通道);

类别c的logit:yc(这个是什么:是模型对类别c的原始打分,还没有经过softmax和sigmoid的数值,一个样本对每个类别都会计算出一个值);

计算通道权重(通过梯度给每个通道分配话语权):

类别c的Grad-CAM热力图(未上采样前):

把Lc双线性差值回到输入大小,叠加到原图即可可视化(这一步是如何操作的)

适用于哪些情况:Grad-CAM 主要适用于有卷积层、能保留空间结构的深度学习模型(典型是 CNN 及其变体)。在 ViT 等 Transformer 中也能通过改造应用;而对没有空间维的模型(RNN、MLP),则不合适。

相关推荐
jkyy2014几秒前
健康座舱:健康有益赋能新能源汽车开启移动健康新场景
人工智能·物联网·汽车·健康医疗
冀博7 分钟前
从零到一:我如何用 LangChain + 智谱 AI 搭建具备“记忆与手脚”的智能体
人工智能·langchain
AI周红伟11 分钟前
周红伟:中国信息通信研究院院长余晓晖关于智算:《算力互联互通行动计划》和《关于深入实施“人工智能+”行动的意见》的意见
人工智能
副露のmagic40 分钟前
草履虫级 Transformer code by hand
深度学习·bert·transformer
橘子师兄42 分钟前
C++AI大模型接入SDK—ChatSDK封装
开发语言·c++·人工智能·后端
桂花很香,旭很美43 分钟前
基于 MCP 的 LLM Agent 实战:架构设计与工具编排
人工智能·nlp
Christo31 小时前
TFS-2026《Fuzzy Multi-Subspace Clustering 》
人工智能·算法·机器学习·数据挖掘
五点钟科技1 小时前
Deepseek-OCR:《DeepSeek-OCR: Contexts Optical Compression》 论文要点解读
人工智能·llm·ocr·论文·大语言模型·deepseek·deepseek-ocr
人工智能AI技术1 小时前
【C#程序员入门AI】本地大模型落地:用Ollama+C#在本地运行Llama 3/Phi-3,无需云端
人工智能·c#
Agentcometoo1 小时前
智能体来了从 0 到 1:规则、流程与模型的工程化协作顺序
人工智能·从0到1·智能体来了·时代趋势