深度学习学习日记4.8(上午)信息量,熵,交叉熵,相对熵,交叉熵损失函数



概率和信息量负相关 小概率事件有较大的信息量,大概率事件有较小的信息量

熵是概率分布的信息量期望











当预测结果越接近真实值,损失函数的值越接近于0。

相关推荐
沃达德软件18 小时前
视频侦查图像清晰化技术
图像处理·人工智能·目标检测·机器学习·计算机视觉·视觉检测·超分辨率重建
数说星榆18118 小时前
AI存储革新:专为大模型设计的高性能存储
人工智能
Σίσυφος190018 小时前
特征值分解eig
人工智能·算法
K·Herbert18 小时前
OpenClaw 私人电脑部署风险
人工智能·安全·编辑器
许泽宇的技术分享18 小时前
Claude Code 完整学习计划
学习
薛定谔的猫198218 小时前
十六、用 GPT2 中文古文模型实现经典名句续写
人工智能·深度学习·gpt2·大模型 训练 调优
Java后端的Ai之路18 小时前
【RAG技术】- 趣味解读RAG 高效召回秘籍之索引扩展
人工智能·机器学习·rag调优·索引拓展
发光的叮当猫18 小时前
记录AI相关的50个关键词和20本书
人工智能
EmbedLinX18 小时前
FreeRTOS 学习笔记
c语言·笔记·学习
jay神18 小时前
基于深度学习的交通流量预测系统
人工智能·深度学习·自然语言处理·数据集·计算机毕业设计