当需要将不同行业数据一起进行模型训练,一种常规的做法是:直接将不同行业数据通过预先设定的采样比例 进行数据混合而后进行训练。不过在论文 OptiMer [[1]](#[1])中做法是先不同行业得到权重然后对权重进行加权组合,对应权重直接用贝叶斯优化搜索得到。
论文概述

仅从上图很容易发现常规直接控制比例混合当训练效果不好又会重新控制混合比例重新训练,而论文则是先将不同数据先去训练出一个版本,而后提取出 Distribute Vector 而后进行加权混合,而权重则是通过优化策略进行搜索不需要去重新在训练,在一定程度上提高了搜索效率,具体做法为:对于待训练模型权重 \(\theta_{pt}\) 以及指令模型 \(\theta_{it}\) (比如Qwen3.5-4B一般会发布两个版本:base模型和instruct模型),那么在不同领域数据微调后得到Distribute Vector :\(\tau_i= \theta_i- \theta_{pt}\) ,同样得到 IT Vector :\(\tau_{it}= \theta_{it}- \theta_{pt}\) 那么接下来就是直接将权重进行加权混合得到模型最后权重:\\theta_{merge}=\\theta_{pt}+ \\alpha_{it} \\cdot \\tau_{it}+ \\sum_{i=1}\^{n}\\alpha_i \\cdot \\tau_i
其中 \(\alpha\) 就是需要寻找的权重(优化目标就是对应benchmark上最佳效果)。具体最佳寻优算法用的是 Tree-structured Parzen Estima-tor (TPE)(TPE属于贝叶斯优化算法一种,实际论文使用的框架是 Optuna [[2]](#[2]))
复现效果
从实验效果看

从结果上看并非所有都是最佳而且测试行业也比较少,用实际业务数据(数据较少只做对比)复现如下:
| 行业 | 题数 | 混合训练 MIX | 最佳等系数合并 | OptiMer 差异系数合并 | OptiMer 相比 MIX | OptiMer 相比等系数 |
|---|---|---|---|---|---|---|
| 糖果、巧克力及蜜饯制造 | 40 | 34.44 | 34.22 | 36.84 | +2.41 | +2.63 |
| 棉纺织及印染精加工 | 40 | 24.88 | 24.16 | 23.72 | −1.16 | −0.44 |
| 金属加工机械制造 | 40 | 27.28 | 26.22 | 28.28 | +1.00 | +2.06 |
| 行业宏均 | 120 | 28.86 | 28.20 | 29.61 | +0.75 | +1.42 |
| 方案 | 糖果系数 α | 棉纺系数 α | 金属加工系数 α | MIX系数 λ | 糖果评分 | 棉纺评分 | 金属加工评分 | 行业宏均 |
|---|---|---|---|---|---|---|---|---|
| 选定 OptiMer | 0.8137 | 0.2495 | 0.3341 | 0 | 36.84 | 23.72 | 28.28 | 29.61 |
| OptiMer 候选 A | 0.4785 | 0.6063 | 0.6367 | 0 | 32.63 | 25.31 | 28.34 | 28.76 |
| OptiMer 候选 B | 0.5457 | 0.3876 | 0.3921 | 0 | 35.53 | 22.63 | 25.81 | 27.99 |
| 等系数 1/3 | 0.3333 | 0.3333 | 0.3333 | 0 | 30.44 | 24.31 | 27.22 | 27.32 |
| 选定等系数 2/3 | 0.6667 | 0.6667 | 0.6667 | 0 | 34.22 | 24.16 | 26.22 | 28.20 |
| 等系数 1 | 1.0000 | 1.0000 | 1.0000 | 0 | 8.59 | 6.66 | 4.66 | 6.64 |
| MIX 缩放 0.25 | 0 | 0 | 0 | 0.25 | 24.75 | 16.72 | 25.06 | 22.18 |
| MIX 缩放 0.50 | 0 | 0 | 0 | 0.50 | 33.00 | 21.28 | 26.66 | 26.98 |
| MIX/选定 MIX 缩放 | 0 | 0 | 0 | 1.00 | 34.44 | 24.88 | 27.28 | 28.86 |