深度学习学习日记4.8(上午)信息量,熵,交叉熵,相对熵,交叉熵损失函数



概率和信息量负相关 小概率事件有较大的信息量,大概率事件有较小的信息量

熵是概率分布的信息量期望











当预测结果越接近真实值,损失函数的值越接近于0。

相关推荐
小呀小萝卜儿1 小时前
2025-03-07 学习记录--C/C++-PTA 习题8-6 删除字符
c语言·学习
iracole1 小时前
深度学习训练Camp:第R5周:天气预测
人工智能·python·深度学习
带电的小王2 小时前
【大模型基础_毛玉仁】1.5 语言模型的评测
人工智能·语言模型·自然语言处理·大语言模型基础·大模型基础_毛玉仁
梦丶晓羽3 小时前
自然语言处理:最大期望值算法
人工智能·python·自然语言处理·高斯混合模型·最大期望值算法
gis收藏家3 小时前
使用开放数据、ArcGIS 和 Sklearn 测量洛杉矶的城市相似性
人工智能·arcgis·sklearn
helpme流水4 小时前
【人工智能】Open WebUI+ollama+deepSeek-r1 本地部署大模型与知识库
人工智能·ubuntu·ai
虾球xz5 小时前
游戏引擎学习第147天
数据库·学习·游戏引擎
网络安全King5 小时前
学习网络安全需要哪些基础?
学习
dankokoko6 小时前
OPENGLPG第九版学习 -颜色、像素和片元 PART1
学习
Icomi_6 小时前
【神经网络】0.深度学习基础:解锁深度学习,重塑未来的智能新引擎
c语言·c++·人工智能·python·深度学习·神经网络