深度学习学习日记4.8(上午)信息量,熵,交叉熵,相对熵,交叉熵损失函数



概率和信息量负相关 小概率事件有较大的信息量,大概率事件有较小的信息量

熵是概率分布的信息量期望











当预测结果越接近真实值,损失函数的值越接近于0。

相关推荐
龙亘川2 分钟前
医院通用人工智能平台设计与落地实践(2026)—— 面向智慧医院的 AI 操作系统架构解析
人工智能·医院通用人工智能平台技术白皮书
SelectDB技术团队3 分钟前
SelectDB Enterprise 4.0.5:强化安全与治理,构建企业级实时分析与 AI 数据底座
数据库·人工智能·apache doris
輕華6 分钟前
LSTM实战:遗忘门、输入门与输出门解决长期依赖
人工智能·rnn·lstm
Li emily6 分钟前
解决了美股api历史数据调用不稳定问题
人工智能·api·fastapi
weixin_513449969 分钟前
PCA、SVD 、 ICP 、kd-tree算法的简单整理总结
c++·人工智能·学习·算法·机器人
code_pgf19 分钟前
Qwen2.5-VL 算法解析
人工智能·深度学习·算法·transformer
鱼鳞_21 分钟前
Java学习笔记_Day29(异常)
java·笔记·学习
xiaotao13134 分钟前
01-编程基础与数学基石:概率与统计
人工智能·python·numpy·pandas
云烟成雨TD35 分钟前
Spring AI Alibaba 1.x 系列【23】短期记忆
java·人工智能·spring
竹之却42 分钟前
【Agent-阿程】OpenClaw v2026.4.15 版本更新全解析
人工智能·ai·openclaw