深度学习学习日记4.8(上午)信息量,熵,交叉熵,相对熵,交叉熵损失函数



概率和信息量负相关 小概率事件有较大的信息量,大概率事件有较小的信息量

熵是概率分布的信息量期望











当预测结果越接近真实值,损失函数的值越接近于0。

相关推荐
冬奇Lab5 分钟前
DeepSeek Harness 系列(05):Session 与记忆——对话历史是怎么活下来的
人工智能
DogDaoDao5 分钟前
SimToolReal 解读:用“物体中心“视角重新定义灵巧工具操作
人工智能·机器人·github·关键点·人形机器人·gpt-4o·simtoolreal
冬奇Lab11 分钟前
一天一个开源项目(第216篇):OpenViking - 给 AI Agent 装上可自进化的上下文数据库
人工智能·开源·资讯
一切皆是因缘际会16 分钟前
从存量释放
人工智能
Xuantong_9020 分钟前
从 0 到 1 搭建本地 AI 工作环境:我的完整方案与经验总结
人工智能
晓窗科技32 分钟前
口碑好的AI基座服务商
大数据·人工智能·python
一航jason37 分钟前
Android平台推理框架及试用场景模型对比
android·人工智能·ai·架构·ai编程·llama
IT·陈寒39 分钟前
Redis内存暴涨时,我忘记检查这个参数
人工智能·大模型·api·创业·变现·简历优化
东鸿电子Eastron39 分钟前
AI 算力爆发,数据中心能源管理系统(EMS)正在经历什么?
人工智能·数据中心·智能电表·ai 算力·多回路计量·智能计量
DeepAgent42 分钟前
AI Agent 开发实战(14):AI Agent 开发工具推荐
人工智能·agent