SFT后训练32B-LLM的一些观察

用单一语种数据集SFT

用COIG-CQIA数据集,以及把COIG-CQIA数据集混合guanaco和belle之后的数据集一起SFT 32B-Base模型,或者基于32B-Chat模型SFT(1-3 epoch),

目的是想提升LLM在单一语种的效果,

然后在中文通用评测集CEVAL和CMMLU评测,

效果都不如32B-Chat模型。

用一个NLP数据集SFT

用一个NLP任务的数据集(30W data),SFT 32B-Base模型,或者基于32B-Chat模型SFT(1 epoch),

目的是想把预训练的知识用到这个NLP任务里,

把SFT之后的LLM作为标注这个NLP任务训练数据的标注LLM,

效果还不如通用的32B-Chat模型作为标注LLM。

相关推荐
拓端研究室2 小时前
2026中国医美护肤产品行业发展与未来趋势蓝皮书:射频、胶原蛋白、PDRN与肉毒素|附90+份报告PDF、数据、可视化模板汇总下载
大数据·人工智能
imbackneverdie2 小时前
2026国自然项目申请指南发布,今年有什么新举措?
人工智能·科研·博士·国自然·ai工具·国家自然科学基金
m0_737302582 小时前
智能化:AI 驱动的全生命周期管理
人工智能
人工智能AI技术2 小时前
【Agent从入门到实践】11 执行模块:Agent如何“完成动作”
人工智能
一招定胜负2 小时前
基于OpenCV的银行卡号识别项目实战
人工智能·opencv·计算机视觉
无代码专家3 小时前
低代码构建数据管理系统:选型逻辑与实践路径
人工智能·低代码
无代码专家3 小时前
低代码搭建项目管理平台:易用性导向的实践方案
人工智能·低代码
KKKlucifer3 小时前
AI赋能与全栈适配:安全运维新范式的演进与实践
人工智能·安全
许泽宇的技术分享3 小时前
当AI学会拍短剧:Huobao Drama全栈AI短剧生成平台深度解析
人工智能