深度学习学习日记4.8(上午)信息量,熵,交叉熵,相对熵,交叉熵损失函数



概率和信息量负相关 小概率事件有较大的信息量,大概率事件有较小的信息量

熵是概率分布的信息量期望











当预测结果越接近真实值,损失函数的值越接近于0。

相关推荐
港股研究社5 分钟前
物理AI临界点:智驾Tier 1越过规模效应拐点
人工智能
m4Rk_5 分钟前
【论文阅读】Agent 记忆机制(48):Fine-Mem——用细粒度奖励解决长期记忆管理中的奖励稀疏与信用分配
论文阅读·人工智能·学习·开源·github
是隼人8 分钟前
buuctf-pwn axb_2019_fmt32题解(学习过程持续更新)
c语言·学习·安全·pwn入门·ctf入门
IanSkunk10 分钟前
眼视光设备全周期台账:从验收入库到使用效果数据化的管理闭环
大数据·网络·人工智能
拓人间精准客13 分钟前
2025–2026 ToB 精准拓客实战手册:用“企业数据画像 + 动态筛选“击穿七大行业获客内卷
大数据·数据库·人工智能
北京GEO服务商余小铁18 分钟前
北京建材行业怎么通过 GEO 推广实现获客
人工智能
txg66618 分钟前
Less Is More:如何用半监督学习提升漏洞检测能力
人工智能·深度学习·学习·安全·开源软件
天涯明月199322 分钟前
Ray 架构解析——以动态任务图统一 AI 计算的分布式框架
大数据·人工智能·分布式·架构·ray
FAREWELL0007526 分钟前
02-资源包形态-AB与Addressables
学习
无崖子027 分钟前
【强化学习论文解读】Expert Behavior Prior Reinforcement Learning
人工智能·深度学习·神经网络