损失函数

【深度学习】语义分割损失函数之SemScal LossSemScalLoss，在论文《SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving》中使用到。它可以用来在数据不平衡的情况下，对语义分割中的recall、precision、specificity中进行控制。

3Blue1Brown-深度学习之梯度下降法本文是在看了 3Blue1Brown-深度学习之人工神经网络视频后的学习笔记。3B1B的“深度学习”系列视频用可视化动画和深入浅出的讲解让我们看清人工神经网络的本质。

【深度学习】交叉熵损失函数Cross-Entropy Loss在机器学习和深度学习中，交叉熵损失函数是衡量分类模型预测概率与真实标签之间差异的一种重要方法。本文将详细介绍二分类交叉熵和多分类交叉熵的定义、应用场景，同时会结合一些实例进行详细计算。

【深度学习】动态交叉熵损失函数Focal LossFocalLoss，由何恺明等人在2017年的论文《Focal Loss for Dense Object Detection》中提出。它是一种专门为解决，目标检测中类别不平衡和难易样本不平衡问题而设计的损失函数。当然，也是可以适用于图像分割。

RAG 检索模型如何学习：三种损失函数的机制解析Agent 系统发展得这么快那么检索模型还重要吗？RAG 本身都已经衍生出 Agentic RAG和 Self-RAG（这些更复杂的变体了。

深度学习--BP神经网络&梯度下降&损失函数深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向。是一种人工智能的子领域，它基于人工神经网络的概念和结构，通过模拟人脑的工作方式来进行机器学习。深度学习的主要特点是使用多层次的神经网络来提取和学习数据中的特征，并通过反向传播算法来优化网络参数，从而实现对复杂数据的建模与分类。深度学习在图像识别、语音识别、自然语言处理等领域取得了显著的成果，并被广泛应用于各种领域。

QiZhang | UESTC

【豆包写的】二分类交叉熵损失函数（BCE Loss）详细推导二分类交叉熵损失函数的推导，核心是基于极大似然估计（Maximum Likelihood Estimation, MLE），结合二分类任务的概率特性（伯努利分布），最终将“最大化样本出现概率”的目标，转化为“最小化负对数似然”的损失函数。

⭐ 深度学习入门体系（第 7 篇）：什么是损失函数？在深度学习训练流程里，你一定见过一句话：“模型要通过反向传播最小化损失函数。”但很多同学会疑惑：这篇文章会把这些问题讲透，用生活化类比帮你建立清晰的“直觉理解”，不用死记公式也能说清楚。

正规方程法正规方程法（Normal Equation）是一种用于求解线性回归问题的解析方法，通过直接计算最小二乘法的闭式解来获取模型参数。与梯度下降等迭代方法相比，正规方程法无需选择学习率或多次迭代，适用于特征数量较少的情况。

机器学习--损失函数损失函数（Loss Function）是机器学习中用于衡量模型预测值与真实值之间差异的函数，是优化算法的核心目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。

噜～噜～噜～

STAR（Stability-Inducing Weight Perturbation）的个人理解作为STAR的笔记，方便理解与复习。STAR来自论文“STAR: STABILITY-INDUCING WEIGHT PERTURBATION FOR CONTINUAL LEARNING”，其链接为：点此跳转

AI理论知识系统复习(1)：交叉熵损失函数目录1 什么是交叉熵损失函数2 疑问：为什么要乘以负一bastract:交叉熵损失函数就是-ln(真实类别的预测概率)

时序论文速递：覆盖损失函数优化、模型架构创新、理论基础与表征学习、应用场景与隐私保护等方向（11.10-11.14）本周精选9篇时间序列领域前沿论文，覆盖损失函数优化、模型架构创新、理论基础与表征学习、应用场景与隐私保护等方向。

什么是Hinge损失函数Hinge损失函数（Hinge Loss）是一种专门用于分类任务的损失函数，尤其适用于**支持向量机（SVM）和间隔最大化（Margin Maximization）**的场景。它的核心思想是通过惩罚“错误分类且距离决策边界过近”的样本，迫使模型学习一个具有更大间隔的分类超平面。以下是详细解析：

牛客网 AI题（一）机器学习 + 深度学习目录深度学习 DLDL4 Log Softmax函数的实现DL7 两个正态分布之间的KL散度DL15 实现自注意力机制

Huber损失函数：稳健回归的智慧之选本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

Day26_【深度学习（6）—神经网络NN（2）损失函数】在深度学习中，损失函数通过比较预测值与真实值之间的差异，来衡量模型参数质量数据差异越小，越拟合，损失值越小

论文阅读-Adaptive Multi-Modal Cross-Entropy Loss for Stereo Matching本文要解决的问题是物体边缘区域的深度值预测问题。给定校准的立体图像对，立体匹配的目的是为左图像中的每个像素找到右图像中对应的像素。目前不管是基于相关体还是成本体的网络，最终都会输出大小为 D × H × W D×H×W D×H×W 的分布体，其中 D D D 是视差搜索的最大范围， H H H 和 W W W 分别是输入图像的高度和宽度。然后沿着视差维度应用 Softmax 算子来标准化每个像素的概率分布 p ( ⋅ ) p(·) p(⋅)。最后，通过加权求和操作来估计得到的视差 d ^ \hat{d}

荒野饮冰室

目标检测定位损失函数：Smooth L1 loss 、IOU loss及其变体Smooth L1 Loss（平滑 L1 损失），是一个在回归任务，特别是计算机视觉中的目标检测领域（如 Faster R-CNN, SSD）非常核心的损失函数。

Day19_【机器学习—线性回归 (2)—损失函数、梯度下降法】线性回归的目标是找到一条最佳拟合直线，而“最佳”是由损失函数定义的，优化过程就是最小化这个损失函数。损失函数：衡量真实值与预测值之间差异的函数，也叫代价函数、成本函数、目标函数