1.主要还是用各种方法增大scaling了：
把attn residuals加到模型里增大depth
KDA+MLA增大sequence length
Stable LatentMoE增大model width
2.MoonViT-V2 不再从 SigLIP 一类 contrastive vision encoder 初始化，而是随机初始化，从头用 next-token prediction 一起训
具体的训练现象：SigLIP 初始化的 vision tower 在 joint optimization 中 gradient norm 更高、spike 更多，而从头训练的 MoonViT-V2 更稳定；最后视觉 benchmark 又能达到相近水平。因此他们得出的结论是，在这种规模下，contrastive visual pretraining 未必还是必要的。
3.Stable LatentMoE：完整的维度留给shared expert，而给router的输入需要先在Latent空间压缩一下，减小开销；同时因为它设了很多expert，容易训崩，所以做了一些正则、负载均衡等方法