损失函数

主流大语言模型的损失函数异同代表模型：GPT 系列、LLaMA、Mistral、Qwen 等代表模型：BERT、RoBERTa代表模型：T5、BART、GLM

披着羊皮不是狼

MSE、MAE、Binary/Categorical Cross-Entropy、HingeLoss五种损失函数的典型应用场景

北京地铁1号线

8.2 对比学习的损失函数目录题目解答1. 基于距离的对比损失1.1 对比损失（Contrastive Loss）1.2 三元组损失（Triplet Loss）

北京地铁1号线

快手面试题：样本不均衡问题在深度学习训练过程中，如何解决样本不均衡问题？在深度学习的训练过程中，样本不均衡是一个非常常见且棘手的问题。它指的是数据集中不同类别的样本数量差异巨大，会导致模型偏向于多数类，忽视少数类。

【深度学习】语义分割损失函数之SemScal LossSemScalLoss，在论文《SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving》中使用到。它可以用来在数据不平衡的情况下，对语义分割中的recall、precision、specificity中进行控制。

3Blue1Brown-深度学习之梯度下降法本文是在看了 3Blue1Brown-深度学习之人工神经网络视频后的学习笔记。3B1B的“深度学习”系列视频用可视化动画和深入浅出的讲解让我们看清人工神经网络的本质。

【深度学习】交叉熵损失函数Cross-Entropy Loss在机器学习和深度学习中，交叉熵损失函数是衡量分类模型预测概率与真实标签之间差异的一种重要方法。本文将详细介绍二分类交叉熵和多分类交叉熵的定义、应用场景，同时会结合一些实例进行详细计算。

【深度学习】动态交叉熵损失函数Focal LossFocalLoss，由何恺明等人在2017年的论文《Focal Loss for Dense Object Detection》中提出。它是一种专门为解决，目标检测中类别不平衡和难易样本不平衡问题而设计的损失函数。当然，也是可以适用于图像分割。

RAG 检索模型如何学习：三种损失函数的机制解析Agent 系统发展得这么快那么检索模型还重要吗？RAG 本身都已经衍生出 Agentic RAG和 Self-RAG（这些更复杂的变体了。

深度学习--BP神经网络&梯度下降&损失函数深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向。是一种人工智能的子领域，它基于人工神经网络的概念和结构，通过模拟人脑的工作方式来进行机器学习。深度学习的主要特点是使用多层次的神经网络来提取和学习数据中的特征，并通过反向传播算法来优化网络参数，从而实现对复杂数据的建模与分类。深度学习在图像识别、语音识别、自然语言处理等领域取得了显著的成果，并被广泛应用于各种领域。

QiZhang | UESTC

【豆包写的】二分类交叉熵损失函数（BCE Loss）详细推导二分类交叉熵损失函数的推导，核心是基于极大似然估计（Maximum Likelihood Estimation, MLE），结合二分类任务的概率特性（伯努利分布），最终将“最大化样本出现概率”的目标，转化为“最小化负对数似然”的损失函数。

⭐ 深度学习入门体系（第 7 篇）：什么是损失函数？在深度学习训练流程里，你一定见过一句话：“模型要通过反向传播最小化损失函数。”但很多同学会疑惑：这篇文章会把这些问题讲透，用生活化类比帮你建立清晰的“直觉理解”，不用死记公式也能说清楚。

正规方程法正规方程法（Normal Equation）是一种用于求解线性回归问题的解析方法，通过直接计算最小二乘法的闭式解来获取模型参数。与梯度下降等迭代方法相比，正规方程法无需选择学习率或多次迭代，适用于特征数量较少的情况。

机器学习--损失函数损失函数（Loss Function）是机器学习中用于衡量模型预测值与真实值之间差异的函数，是优化算法的核心目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。

噜～噜～噜～

STAR（Stability-Inducing Weight Perturbation）的个人理解作为STAR的笔记，方便理解与复习。STAR来自论文“STAR: STABILITY-INDUCING WEIGHT PERTURBATION FOR CONTINUAL LEARNING”，其链接为：点此跳转

AI理论知识系统复习(1)：交叉熵损失函数目录1 什么是交叉熵损失函数2 疑问：为什么要乘以负一bastract:交叉熵损失函数就是-ln(真实类别的预测概率)

时序论文速递：覆盖损失函数优化、模型架构创新、理论基础与表征学习、应用场景与隐私保护等方向（11.10-11.14）本周精选9篇时间序列领域前沿论文，覆盖损失函数优化、模型架构创新、理论基础与表征学习、应用场景与隐私保护等方向。

什么是Hinge损失函数Hinge损失函数（Hinge Loss）是一种专门用于分类任务的损失函数，尤其适用于**支持向量机（SVM）和间隔最大化（Margin Maximization）**的场景。它的核心思想是通过惩罚“错误分类且距离决策边界过近”的样本，迫使模型学习一个具有更大间隔的分类超平面。以下是详细解析：

牛客网 AI题（一）机器学习 + 深度学习目录深度学习 DLDL4 Log Softmax函数的实现DL7 两个正态分布之间的KL散度DL15 实现自注意力机制

Huber损失函数：稳健回归的智慧之选本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！