过拟合

【机器学习chp8】统计学习理论本文遗留问题：无目录前言一、结构风险最小化1、最小化风险决策2、分类与回归中的最小化风险决策3、统计学习的基本目标

回归与分类中的过拟合问题探讨与解决欠拟合和过拟合是回归和分类问题中可能会遇到的现象。这两概念的解释以及解决的办法我在之前的博文[1]中有过介绍，不过在这篇文章中介绍得比较粗糙，本文想要更系统地对这两个概念进行阐述和实践。也算是对博文[1]的补充和拓展。

【AI知识点】偏差-方差权衡（Bias-Variance Tradeoff）偏差-方差权衡（Bias-Variance Tradeoff）是机器学习和统计学中的一个核心概念，描述了模型在训练数据和测试数据上的表现与模型复杂度之间的关系。它解释了为什么我们需要在模型复杂度和模型泛化能力之间做权衡，以避免模型出现欠拟合（Underfitting）或过拟合（Overfitting）。

谈谈LLM训练中的“过拟合”与“欠拟合”如今，由于其出色的理解、生成和操纵人类语言的能力，语言模型已经成为焦点。据最新调查数据显示，大概30%的企业计划使用非结构化数据来提高大型语言模型（LLM）的准确性。在训练这些语言模型时，一个基本挑战是找到复杂性和泛化之间的正确平衡。也就是说，训练这些模型的时候，得找到一个刚刚好的点，就是别太复杂也别太简单，这个平衡点挺难抓的。这个平衡点就是咱们常说的过拟合和欠拟合，这俩概念在训练模型的时候特别关键，能大大影响最后模型的表现。

【博士每天一篇文献-综述】A survey on few-shot class-incremental learning阅读时间：2023-12-19年份：2024 作者：田松松，中国科学院半导体研究所；李璐思，老道明大学助理教授；李伟军，中国科学院半导体研究所AnnLab；期刊： Neural Networks 引用量：30 Tian S, Li L, Li W, et al. A survey on few-shot class-incremental learning[J]. Neural Networks, 2024, 169： 307-324. 是关于少量样本增量学习（Few-shot Class-Increm

2.12 过拟合与欠拟合是什么？怎么解决？场景描述在模型评估与调整的过程中，我们往往会遇到“过拟合”或“欠拟合”的情况。如何有效地识别“过拟合”和“欠拟合”现象，并有针对性地进行模型调整，是不断改进机器学习模型的关键。特别是在实际项目中，采用多种方法、从多个角度降低“过拟合”和“欠拟合”的风险是算法工程师应当具备的领域知识。