深度学习学习日记4.8(上午)信息量,熵,交叉熵,相对熵,交叉熵损失函数



概率和信息量负相关 小概率事件有较大的信息量,大概率事件有较小的信息量

熵是概率分布的信息量期望











当预测结果越接近真实值,损失函数的值越接近于0。

相关推荐
Pluchon6 分钟前
硅基计划6.0 伍 JavaEE 网络原理
网络·网络协议·学习·tcp/ip·udp·java-ee·信息与通信
我的世界伊若1 小时前
AI重塑IT职场:挑战与机遇并存
人工智能
lapiii3581 小时前
[智能体设计模式] 第4章:反思(Reflection)
人工智能·python·设计模式
IT_Beijing_BIT3 小时前
tensorflow 图像分类 之四
人工智能·分类·tensorflow
卡奥斯开源社区官方4 小时前
NVIDIA Blackwell架构深度解析:2080亿晶体管如何重构AI算力规则?
人工智能·重构·架构
百锦再5 小时前
第11章 泛型、trait与生命周期
android·网络·人工智能·python·golang·rust·go
椰壳也可7 小时前
06_作业基于CubeMx实现按键控制LED灯(裸机)(立芯嵌入式笔记)
笔记·stm32·学习
数新网络7 小时前
The Life of a Read/Write Query for Apache Iceberg Tables
人工智能·apache·知识图谱
Yangy_Jiaojiao8 小时前
开源视觉-语言-动作(VLA)机器人项目全景图(截至 2025 年)
人工智能·机器人
im_AMBER8 小时前
Leetcode 52
笔记·学习·算法·leetcode