损失函数

机器学习基础：极大似然估计与交叉熵考虑我们在训练一个参数为 ϕ \boldsymbol\phi ϕ、输入为 x \mathbf{x} x的模型 f [ x , ϕ ] \mathbf{f}[\mathbf{x},\boldsymbol{\phi}] f[x,ϕ]。如果转换一下视角，计算模型在给定输入 x \mathbf{x} x时对可能的输出 y \mathbf{y} y计算条件概率分布 P r ( y ∣ x ) Pr(\mathbf{y}|\mathbf{x}) Pr(y∣x)。对每一个样本 ( x i , y i ) (\mathb

深度学习中损失函数(loss function)介绍在深度学习的宏伟城堡中，损失函数扮演着国王的角色，它决定了模型训练的方向和目标。损失函数，也被称为代价函数，是衡量模型预测与实际结果之间差异的函数。在深度学习的训练过程中，我们的目标就是最小化这个损失函数，就像是在一场游戏中，我们的目标是获得尽可能低的失误和丢分。

深度学习常用损失函数介绍均方误差损失又称为二次损失、L2损失，常用于回归预测任务中。均方误差函数通过计算预测值和实际值之间距离（即误差）的平方来衡量模型优劣。即预测值和真实值越接近，两者的均方差就越小。

目标检测中的损失函数损失函数是用来衡量模型与数据的匹配程度的，也是模型权重更新的基础。计算损失产生模型权重的梯度，随后通过反向传播算法，模型权重得以更新进而更好地适应数据。一般情况下，目标损失函数包含两部分损失，一个是目标框分类损失，一个是目标框定位损失，两者共同构成目标检测问题的损失形式。

【大模型理论篇】大模型相关的周边技术分享-关于《NN and DL》的笔记本文所要介绍的一本书《Neural Networks and Deep Learning》，该书作者Michael Nielsen，Y Combinator Research的研究员，是多年之前自己看的一本基础书籍，很适合入门了解一些关于深度学习的概念知识，当然也包含了一些小的案例。刚好有篇当年存档的小笔记，做一下分享。

程序员非鱼

深度学习中的损失函数详解在深度学习的世界中，损失函数（Loss Function）是最关键的组成部分之一，它帮助我们评估模型的预测与真实标签之间的差距。无论是回归问题、分类问题，还是更复杂的生成模型问题，损失函数都扮演者核心角色。通过最小化损失函数，模型能够逐渐优化其性能，从而提升对未见数据的泛化能力。

MICCAI 2024Centerline Boundary Dice Loss for Vascular Segmentation彭成世1, 捷斯·胡1,2, 颜武洋1,2, 齐乐高1, 韦磊1, 马霆1,2,3,4邮箱：tma@hit.edu.cn

人工智能算法工程师(中级)课程8-PyTorch神经网络之神经网络基础与代码详解大家好，我是微学AI，今天给大家介绍一下人工智能算法工程师(中级)课程8-PyTorch神经网络之神经网络基础与代码详解。神经网络是一种模仿人脑神经元连接方式的计算模型，广泛应用于图像识别、自然语言处理等领域。本文将介绍神经网络的概念、结构、样本、训练和评估，并配合完整的可运行代码。

深度学习：关于损失函数的一些前置知识（PyTorch Loss）在之前进行实验的时候发现：调用 Pytorch 中的 Loss 函数之前如果对其没有一定的了解，可能会影响实验效果和调试效率。以 CrossEntropyLoss 为例，最初设计实验的时候没有注意到该函数默认返回的是均值，以为是总和，于是最后计算完 Loss 之后，手动做了个均值，导致实际 Loss 被错误缩放，实验效果不佳，在后来 Debug 排除代码模型架构问题的时候才发觉这一点，着实花费了不少时间。

goldfish loss：减少训练数据泄漏，提高大语言模型输出的多样性LLMs（大型语言模型）能够记忆并重复它们的训练数据，这可能会带来隐私和版权风险。为了减轻记忆现象，论文作者引入了一种名为"goldfish loss"的微妙修改，在训练过程中，随机抽样的一部分标记被排除在损失计算之外。这些被舍弃的标记不会被模型记忆，从而防止模型完整复制训练集中的一整个标记序列。

【机器学习与实现】逻辑回归分析回归：因变量取连续值。例如一台4核CPU，3G内存的手机，跑分估计会是多少? 分类：因变量取离散值。例如这台手机的性能应分为哪一类 (高性能还是低性能) ？

损失函数：Cross Entropy Loss （交叉熵损失函数）损失函数（Loss Function）在机器学习和深度学习中扮演着至关重要的角色，它是一个评估模型预测输出与真实标签之间差异程度的函数。损失函数量化了模型预测错误的程度，并在训练过程中作为优化的目标，模型通过不断地调整内部参数以最小化损失函数的值，从而实现更好的拟合数据和泛化能力。

政安晨：【深度学习实践】【使用 TensorFlow 和 Keras 为结构化数据构建和训练神经网络】（三）—— 随机梯度下降政安晨的个人主页：政安晨欢迎 👍点赞✍评论⭐收藏收录专栏: TensorFlow与Keras实战演绎

深度学习损失函数新成果！18个突破性方法，让模型更精准、更高效基于最优传输思想设计的分类损失函数EMO解决了交叉熵损失函数在某些场景暴露的一些问题，如偏离评价指标、过度自信等，它源于交叉熵损失函数，能大幅提高 LLM 的微调效果。

机器学习5-线性回归之损失函数在线性回归中，我们通常使用最小二乘法（Ordinary Least Squares, OLS）来求解损失函数。线性回归的目标是找到一条直线，使得预测值与实际值的平方差最小化。假设有数据集其中是输入特征，是对应的输出。

神经网络中的损失函数（下）——分类任务上文主要介绍了回归任务中常用的几个损失函数，本文则主要介绍分类任务中的损失函数。为了与回归任务的损失函数形式相统一，此处仅考虑某一条数据的损失函数。

神经网络中的损失函数（上）——回归任务神经网络是深度学习的基础。在神经网络中，损失函数和优化函数是两个非常重要的概念，它们共同决定了模型的性能和训练效果。本文将介绍神经网络中比较常用的损失函数。

博士僧小星

人工智能|机器学习——机器学习如何判断模型训练是否充分训练日志是机器学习中广泛使用的训练诊断工具，每个 epoch 或 iterator 结束后，在训练集和验证集上评估模型，并以折线图的形式显示模型性能和收敛状况。训练期间查看模型的训练日志可用于判断模型训练时的问题，例如欠拟合或过拟合，以及训练和验证数据集是否合适等问题，为后续模型调优的参数设置提供了基础。 SuperMap 使用 tensorboard 记录训练时的日志，如需查看训练日志，可在系统命令行窗口输入：

损失函数总结（六）：KLDivLoss、BCEWithLogitsLoss在前面的文章中已经介绍了介绍了一系列损失函数 (L1Loss、MSELoss、BCELoss、CrossEntropyLoss、NLLLoss、CTCLoss、PoissonNLLLoss、GaussianNLLLoss)。在这篇文章中，会接着上文提到的众多损失函数继续进行介绍，给大家带来更多不常见的损失函数的介绍。这里放一张损失函数的机理图：

幻风_huanfeng

经验风险最小化与结构风险最小化：优化机器学习模型的两种方法随着大数据时代的到来，机器学习在各个领域中的应用越来越广泛。然而，在构建机器学习模型时，我们面临着两个主要的挑战：经验风险最小化和结构风险最小化。本文将深入探讨这两种方法，并分析它们在优化机器学习模型中的作用。