OptiMer:不同行业权重混合策略

当需要将不同行业数据一起进行模型训练,一种常规的做法是:直接将不同行业数据通过预先设定的采样比例 进行数据混合而后进行训练。不过在论文 OptiMer [[1]](#[1])中做法是先不同行业得到权重然后对权重进行加权组合,对应权重直接用贝叶斯优化搜索得到。

论文概述

仅从上图很容易发现常规直接控制比例混合当训练效果不好又会重新控制混合比例重新训练,而论文则是先将不同数据先去训练出一个版本,而后提取出 Distribute Vector 而后进行加权混合,而权重则是通过优化策略进行搜索不需要去重新在训练,在一定程度上提高了搜索效率,具体做法为:对于待训练模型权重 \(\theta_{pt}\) 以及指令模型 \(\theta_{it}\) (比如Qwen3.5-4B一般会发布两个版本:base模型和instruct模型),那么在不同领域数据微调后得到Distribute Vector :\(\tau_i= \theta_i- \theta_{pt}\) ,同样得到 IT Vector :\(\tau_{it}= \theta_{it}- \theta_{pt}\) 那么接下来就是直接将权重进行加权混合得到模型最后权重:\\theta_{merge}=\\theta_{pt}+ \\alpha_{it} \\cdot \\tau_{it}+ \\sum_{i=1}\^{n}\\alpha_i \\cdot \\tau_i

其中 \(\alpha\) 就是需要寻找的权重(优化目标就是对应benchmark上最佳效果)。具体最佳寻优算法用的是 Tree-structured Parzen Estima-tor (TPE)(TPE属于贝叶斯优化算法一种,实际论文使用的框架是 Optuna [[2]](#[2]))

复现效果

从实验效果看

从结果上看并非所有都是最佳而且测试行业也比较少,用实际业务数据(数据较少只做对比)复现如下:

行业 题数 混合训练 MIX 最佳等系数合并 OptiMer 差异系数合并 OptiMer 相比 MIX OptiMer 相比等系数
糖果、巧克力及蜜饯制造 40 34.44 34.22 36.84 +2.41 +2.63
棉纺织及印染精加工 40 24.88 24.16 23.72 −1.16 −0.44
金属加工机械制造 40 27.28 26.22 28.28 +1.00 +2.06
行业宏均 120 28.86 28.20 29.61 +0.75 +1.42
方案 糖果系数 α 棉纺系数 α 金属加工系数 α MIX系数 λ 糖果评分 棉纺评分 金属加工评分 行业宏均
选定 OptiMer 0.8137 0.2495 0.3341 0 36.84 23.72 28.28 29.61
OptiMer 候选 A 0.4785 0.6063 0.6367 0 32.63 25.31 28.34 28.76
OptiMer 候选 B 0.5457 0.3876 0.3921 0 35.53 22.63 25.81 27.99
等系数 1/3 0.3333 0.3333 0.3333 0 30.44 24.31 27.22 27.32
选定等系数 2/3 0.6667 0.6667 0.6667 0 34.22 24.16 26.22 28.20
等系数 1 1.0000 1.0000 1.0000 0 8.59 6.66 4.66 6.64
MIX 缩放 0.25 0 0 0 0.25 24.75 16.72 25.06 22.18
MIX 缩放 0.50 0 0 0 0.50 33.00 21.28 26.66 26.98
MIX/选定 MIX 缩放 0 0 0 1.00 34.44 24.88 27.28 28.86

  1. https://aclanthology.org/2026.emnlp-main.1090.pdf ↩︎

  2. https://github.com/optuna/optuna-dashboard ↩︎

相关推荐
迪菲赫尔曼18 天前
【基础篇 08】让VS Code连接服务器:界面在本地,文件保存到远端
运维·服务器·vscode·yolo·论文·教程·ultralyt
迪菲赫尔曼20 天前
【基础篇 02】文件、文件夹和路径:先把学习资料放对地方
yolo·计算机视觉·论文·教程·ultralyt
要加油哦~1 个月前
论文 | vision2web 基于代理验证的可视化网站开发分层基准测试
人工智能·论文
shandianchengzi1 个月前
【记录】论文|创建 Anonymous 匿名 GitHub 仓库问题排查思路,以及新建匿名仓库至少要做的几件关键的事情
github·论文·科研
淡唱暮念1 个月前
CCF会议投稿,一站式查询工具汇总
论文·论文投稿·ccf
祺曦1 个月前
overleaf写论文注意事项
论文·latex·overleaf
一花一world2 个月前
2026年10月份-软考-架构设计师综合知识精华及架构设计师论文模板
论文·软考论文·架构设计师·架构师高分论文·架构师综合知识
谢白羽2 个月前
MiniMax-H3 : 4卡 H20-3e一套权重部署实践/8卡H200部署优化实测
笔记·llm·论文·大模型部署·sglang