【深度学习每日小知识】Logistic Loss 逻辑回归

逻辑回归的损失函数

线性回归的损失函数是平方损失。逻辑回归的损失函数是对数损失,定义如下:

L o g L o s s = ∑ ( x , y ) ∈ D − y log ⁡ ( y ′ ) − ( 1 − y ) log ⁡ ( 1 − y ′ ) LogLoss=\sum_{(x,y)\in D}-y\log(y')-(1-y)\log(1-y') LogLoss=(x,y)∈D∑−ylog(y′)−(1−y)log(1−y′)

其中:

  • ( x , y ) ∈ D (x,y)\in D (x,y)∈D 是包含许多有标签样本(即成对数据集)的数据集。 ( x , y ) ∈ D (x,y)\in D (x,y)∈D
  • y y y是有标签样本中的标签。由于这是逻辑回归,因此
    的每个 y y y值都必须是 0 或 1。
  • y ′ y' y′是针对 x x x中的一组特征的预测值(介于 0 和 1 之间)。

逻辑回归中的正则化

正则化在逻辑回归建模中极其重要。如果不进行正则化,高逻辑维度下的逻辑回归的渐近性会不断促使损失接近 0。因此,大多数逻辑回归模型都使用以下两种策略之一来降低模型复杂性:

  • L2 正则化。
  • 早停法,即限制训练步数或学习速率。

(我们将在后续中讨论第三个策略,即 L1 正则化。)

假设您为每个示例分配一个唯一 ID,并将每个 ID 映射到其自己的特征。如果您不指定正则化函数,模型将完全过拟合。这是因为模型会尝试在所有样本上将损失降低为零,并且永远无法实现,从而将每个指示器特征的权重提高至 +无穷大或-无穷大。当有大量罕见的交叉时,仅在一个样本上发生,就会出现包含特征组合的高维度数据。

幸运的是,使用 L 2 L_2 L2或早停法可以防止此问题出现。

AI插图

这是对逻辑回归中对数损失函数的可视化。图中展示了两条曲线:一条表示当预测值接近实际值时的损失,另一条表示当预测值远离实际值时的损失。X轴代表预测概率,Y轴代表损失。不同颜色的曲线和图例有助于区分这两种情况。

接下来,我将生成展示正则化效果的图像。

相关推荐
HPC_fac130520678161 小时前
科研深度学习:如何精选GPU以优化服务器性能
服务器·人工智能·深度学习·神经网络·机器学习·数据挖掘·gpu算力
猎嘤一号2 小时前
个人笔记本安装CUDA并配合Pytorch使用NVIDIA GPU训练神经网络的计算以及CPUvsGPU计算时间的测试代码
人工智能·pytorch·神经网络
天润融通2 小时前
天润融通携手挚达科技:AI技术重塑客户服务体验
人工智能
Elastic 中国社区官方博客4 小时前
使用 Elastic AI Assistant for Search 和 Azure OpenAI 实现从 0 到 60 的转变
大数据·人工智能·elasticsearch·microsoft·搜索引擎·ai·azure
江_小_白5 小时前
自动驾驶之激光雷达
人工智能·机器学习·自动驾驶
yusaisai大鱼6 小时前
TensorFlow如何调用GPU?
人工智能·tensorflow
珠海新立电子科技有限公司9 小时前
FPC柔性线路板与智能生活的融合
人工智能·生活·制造
IT古董9 小时前
【机器学习】机器学习中用到的高等数学知识-8. 图论 (Graph Theory)
人工智能·机器学习·图论
曼城周杰伦9 小时前
自然语言处理:第六十三章 阿里Qwen2 & 2.5系列
人工智能·阿里云·语言模型·自然语言处理·chatgpt·nlp·gpt-3
余炜yw10 小时前
【LSTM实战】跨越千年,赋诗成文:用LSTM重现唐诗的韵律与情感
人工智能·rnn·深度学习