dropout

一文了解：LLM Dropout咱们来聊聊，啥样的预测模型才算是好模型？简单来说，就是那种在处理它从没见过的数据时，也能表现得特别棒的模型。老派的泛化理论告诉我们，要想让模型在训练集和测试集上都表现差不多，就得让模型简单点。这个简单，可以是参数少一点，还可以权重衰减，其实就是让参数的值别太大，这也是让模型保持简单性的一个好方法。还有一个概念就是平滑性，意思是说，模型对输入数据的小变化应该不那么敏感。比如在图像分类任务中，我们希望即使图像上有点随机噪声，模型也能正确地识别出来。

分析为什么在 PyTorch 中，训练好深度神经网络后要使用 model.eval()🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/训练模式 VS 评估模式。首先，我们需要明确 PyTorch 中的模型存在两种重要模式：训练模式（training mode）与评估模式（evaluation mode）。通过调用 model.eval() 方法，我们可以轻松地将模型切换到评估模式。

深度学习 --- stanford cs231学习笔记八(训练神经网络之dropout)在线性分类器中，我们提到过正则化，其目的就是为了防止过度拟合。例如，当我们要用一条curve去拟合一些散点的数据时，常常是不希望训练出来的curve过所有的点，因为这些点里面可能包含噪声。如果，拟合出来的函数曲线真的能过所有的点，包括噪点，往往不是人们期望中的那条最佳curve。

智慧医疗探索者

深度学习中的Dropout在2012年，Hinton在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出Dropout。当一个复杂的前馈神经网络被训练在小的数据集时，容易造成过拟合。为了防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能。