过拟合

谈谈LLM训练中的“过拟合”与“欠拟合”如今，由于其出色的理解、生成和操纵人类语言的能力，语言模型已经成为焦点。据最新调查数据显示，大概30%的企业计划使用非结构化数据来提高大型语言模型（LLM）的准确性。在训练这些语言模型时，一个基本挑战是找到复杂性和泛化之间的正确平衡。也就是说，训练这些模型的时候，得找到一个刚刚好的点，就是别太复杂也别太简单，这个平衡点挺难抓的。这个平衡点就是咱们常说的过拟合和欠拟合，这俩概念在训练模型的时候特别关键，能大大影响最后模型的表现。

【博士每天一篇文献-综述】A survey on few-shot class-incremental learning阅读时间：2023-12-19年份：2024 作者：田松松，中国科学院半导体研究所；李璐思，老道明大学助理教授；李伟军，中国科学院半导体研究所AnnLab；期刊： Neural Networks 引用量：30 Tian S, Li L, Li W, et al. A survey on few-shot class-incremental learning[J]. Neural Networks, 2024, 169： 307-324. 是关于少量样本增量学习（Few-shot Class-Increm

2.12 过拟合与欠拟合是什么？怎么解决？场景描述在模型评估与调整的过程中，我们往往会遇到“过拟合”或“欠拟合”的情况。如何有效地识别“过拟合”和“欠拟合”现象，并有针对性地进行模型调整，是不断改进机器学习模型的关键。特别是在实际项目中，采用多种方法、从多个角度降低“过拟合”和“欠拟合”的风险是算法工程师应当具备的领域知识。