SFT后训练32B-LLM的一些观察

用单一语种数据集SFT

用COIG-CQIA数据集,以及把COIG-CQIA数据集混合guanaco和belle之后的数据集一起SFT 32B-Base模型,或者基于32B-Chat模型SFT(1-3 epoch),

目的是想提升LLM在单一语种的效果,

然后在中文通用评测集CEVAL和CMMLU评测,

效果都不如32B-Chat模型。

用一个NLP数据集SFT

用一个NLP任务的数据集(30W data),SFT 32B-Base模型,或者基于32B-Chat模型SFT(1 epoch),

目的是想把预训练的知识用到这个NLP任务里,

把SFT之后的LLM作为标注这个NLP任务训练数据的标注LLM,

效果还不如通用的32B-Chat模型作为标注LLM。

相关推荐
阿达_优阅达2 分钟前
告别手工对账:xSuite 如何帮助 SAP 企业实现财务全流程自动化?
服务器·数据库·人工智能·自动化·sap·企业数字化转型·xsuite
旗讯数字9 分钟前
生产业纸质加工单识别结构化方案,破解车间数字化痛点——旗讯数字
人工智能·数字化·表格识别
大任视点12 分钟前
AI赋能线下娱乐新风口:上海潮玩鸟“智能弹珠机”全国市场正式启动
人工智能·业界资讯
人工智能AI技术12 分钟前
算力涨价自救:CPU本地部署MiMo-V2-Pro,极简工程化方案
人工智能
华农DrLai20 分钟前
什么是Prompt工程?为什么提示词的质量决定AI输出的好坏?
数据库·人工智能·gpt·大模型·nlp·prompt
阿里云大数据AI技术22 分钟前
检索的终局是决策:OLAP 如何重塑 Hologres 多模混合检索的价值边界
人工智能
老纪的技术唠嗑局23 分钟前
给 OpenClaw 装上长期记忆:PowerMem 1.0.0 正式发布
人工智能
土豆.exe24 分钟前
OpenClaw 安全保险箱怎么做?从 ClawVault 看 AI Agent 的原子化控制、检测与限额
人工智能·网络安全·ai安全·openclaw
wuguan_25 分钟前
Halcon图像处理
图像处理·人工智能·计算机视觉·halcon
Westward-sun.33 分钟前
OpenCV 实战:身份证号码识别系统(基于模板匹配)
人工智能·opencv·计算机视觉