kimi k2.6 - kimi k2.6技术,学习,经验文章

OpenCSG

2 小时前

Kimi K2.6：月之暗面发布的原生多模态智能体模型Kimi K2.6 采用了混合专家架构（MoE），总参数量达到1 万亿，但通过精巧的专家路由机制，每次推理仅激活320 亿参数，在保证模型容量的同时大幅降低了推理成本。模型包含 61 层网络结构，部署了 384 个专家模块，每处理一个 token 时动态选择其中 8 个最相关的专家参与计算，另有 1 个共享专家提供基础能力支持。