compute_entropy函数

python 复制代码
def compute_entropy(prob_map):
    """
    """
    # 
    epsilon = 1e-8
    # 
    prob_map = F.softmax(prob_map, dim=1)  # 
    # -sum(p_k * log(p_k))
    entropy_map = -torch.sum(prob_map * torch.log(prob_map + epsilon), dim=1)  # 
    # 
    K = prob_map.shape[1]  # 
    max_entropy = torch.log(torch.tensor(K, dtype=torch.float32))  # 

    # 
    normalized_entropy_map = entropy_map / max_entropy  # 

    return 1.0 - normalized_entropy_map  # 

这段代码实现了计算概率图的信息熵并进行归一化处理的功能。让我逐行详细解释:

复制代码

python

复制代码
`def compute_entropy(prob_map):
    """
    """
    # 定义一个极小值,防止log(0)产生无穷大
    epsilon = 1e-8
    # 对概率图应用softmax函数,确保各类别概率和为1
    prob_map = F.softmax(prob_map, dim=1)
    # 计算信息熵:-sum(p_k * log(p_k))
    entropy_map = -torch.sum(prob_map * torch.log(prob_map + epsilon), dim=1)
    # 获取类别数量K
    K = prob_map.shape[1]
    # 计算最大可能的熵值:log(K)
    max_entropy = torch.log(torch.tensor(K, dtype=torch.float32))
    
    # 将熵值归一化到[0,1]区间
    normalized_entropy_map = entropy_map / max_entropy
    
    # 返回1-归一化熵值,这样高置信度对应高值
    return 1.0 - normalized_entropy_map`

让我用具体例子来说明:

假设我们有一个3类分割的概率图:

复制代码

python

复制代码
`# prob_map形状为[1, 3, 2, 2],即1个样本,3个类别,2x2图像
# 经过softmax后每个像素位置的概率分布如下:

位置(0,0): [0.2, 0.3, 0.5]  # 类别1概率0.2, 类别2概率0.3, 类别3概率0.5
位置(0,1): [0.8, 0.1, 0.1]  # 类别1概率0.8, 类别2概率0.1, 类别3概率0.1
位置(1,0): [0.33,0.33,0.34] # 类别1概率0.33,类别2概率0.33,类别3概率0.34
位置(1,1): [0.4, 0.4, 0.2]  # 类别1概率0.4, 类别2概率0.4, 类别3概率0.2`

计算每个位置的信息熵:

位置(0,0): 0.2, 0.3, 0.5

  • 熵 = -(0.2×log(0.2) + 0.3×log(0.3) + 0.5×log(0.5))
  • ≈ -(0.2×(-1.61) + 0.3×(-1.20) + 0.5×(-0.69))
  • ≈ -(−0.32 − 0.36 − 0.35) = 1.03

位置(0,1): 0.8, 0.1, 0.1

  • 熵 = -(0.8×log(0.8) + 0.1×log(0.1) + 0.1×log(0.1))
  • ≈ -(0.8×(-0.22) + 0.1×(-2.30) + 0.1×(-2.30))
  • ≈ -(−0.18 − 0.23 − 0.23) = 0.64

位置(1,0): 0.33, 0.33, 0.34

  • 熵 ≈ -(0.33×(-1.11) + 0.33×(-1.11) + 0.34×(-1.07))
  • ≈ 1.10

位置(1,1): 0.4, 0.4, 0.2

  • 熵 ≈ -(0.4×(-0.92) + 0.4×(-0.92) + 0.2×(-1.61))
  • ≈ 1.04

归一化处理:

  • 最大可能熵值 = log(3) ≈ 1.10

  • 归一化后:

    • 位置(0,0): 1.03/1.10 ≈ 0.94
    • 位置(0,1): 0.64/1.10 ≈ 0.58
    • 位置(1,0): 1.10/1.10 = 1.00
    • 位置(1,1): 1.04/1.10 ≈ 0.95

    最终结果(1-归一化熵):

  • 位置(0,0): 1.0 - 0.94 = 0.06

  • 位置(0,1): 1.0 - 0.58 = 0.42

  • 位置(1,0): 1.0 - 1.00 = 0.00

  • 位置(1,1): 1.0 - 0.95 = 0.05

可以看出,熵值越低(不确定性越小)的位置,最终结果越接近1,表示模型对该位置的预测越有信心。

相关推荐
prince_zxill1 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
少司府1 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
伞伞悦读2 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
会飞锦鲤2 小时前
基于 RT-DETR 的 PCB 缺陷检测
深度学习·目标检测·计算机视觉·pyqt5·rt-detr·工业质检·pcb缺陷检测
console.log('npc')3 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
honker_X3 小时前
Python字符串全攻略:从入门到精通
开发语言·python
贾公子3 小时前
异步检测的轮询与超时——别把「还没好」当成「失败了」
后端·python
吃我一窝jio3 小时前
Docker+Jenkins+K8s全流程部署
java·开发语言·笔记·python
欢乐马87914 小时前
优化|MPSolver 和 pywraplp 到底谁是谁?一次讲清 OR-Tools 的三层结构
python
mengge.cloud6 小时前
Python基础保姆级!从入门到入土
开发语言·python·云原生·pygame