【腾讯混元雪耻归来】 Hy4 preview:770B 参数 MoE 旗舰模型,1M 上下文全面开源🖥️ 官方网站 | 💬 GitHubHy4 preview 是腾讯混元团队(Tencent Hy Team)研发的新一代混合专家(MoE)旗舰模型。模型总参数量为 770B,其中每个 token 激活 49B 参数。主干网络包含 78 层,其中第一层使用标准稠密 FFN,其余 77 层替换为 MoE,每层包含 256 个路由专家和 1 个共享专家;每个 token 激活 top-8 路由专家以及共享专家。除主干网络外,模型还内置了 1 层原生 MTP(Multi-Token Prediction,多