深度学习学习日记4.8(上午)信息量,熵,交叉熵,相对熵,交叉熵损失函数



概率和信息量负相关 小概率事件有较大的信息量,大概率事件有较小的信息量

熵是概率分布的信息量期望











当预测结果越接近真实值,损失函数的值越接近于0。

相关推荐
碳苯2 分钟前
【rCore OS 开源操作系统】Rust 枚举与模式匹配
开发语言·人工智能·后端·rust·操作系统·os
K3njuan13 分钟前
《数据结构》学习系列
学习
结衣结衣.15 分钟前
C++ 类和对象的初步介绍
java·开发语言·数据结构·c++·笔记·学习·算法
whaosoft-14335 分钟前
51c视觉~CV~合集3
人工智能
网络研究院3 小时前
如何安全地大规模部署 GenAI 应用程序
网络·人工智能·安全·ai·部署·观点
limengshi1383923 小时前
通信工程学习:什么是RIP路由信息协议
网络·网络协议·学习·智能路由器·信息与通信
凭栏落花侧3 小时前
决策树:简单易懂的预测模型
人工智能·算法·决策树·机器学习·信息可视化·数据挖掘·数据分析
xiaobuding_QAQ4 小时前
自用Proteus(8.15)常用元器件图示和功能介绍(持续更新...)
单片机·嵌入式硬件·学习·proteus
wei_shuo4 小时前
偏标记学习+图像分类(论文复现)
学习·分类·数据挖掘
Miqiuha5 小时前
lock_guard和unique_lock学习总结
java·数据库·学习