Step 5 Preview 是一个总参数量 600B 的稀疏混合专家（MoE）模型，但每个 token 推理时只激活 27B 参数。这种设计解决了大规模模型推理成本高的问题：既保留了数千亿参数带来的知识容量和能力范围，又把单次推理的计算量控制在 270 亿参数级别，接近常规密集模型的开销。
稀疏激活与窄深架构
稀疏 MoE（Mixture of Experts）指模型内部分成多组专家网络，每次推理时路由机制只选中其中一部分专家参与计算。Step 5 Preview 采用 92 层窄深架构，层数多但每层宽度相对较窄，总参数 600B 分散在这些层的专家组中。推理一个 token 时，路由层决定激活哪 27B 参数，其余专家保持休眠。
这种架构的优势是参数利用率可以根据输入内容动态调整。不同任务、不同语言、不同领域的 token 可能激活不同的专家组合，相当于在一个模型里集成了多个子模型的专长，而不需要每次都运行全部参数。
Sparse GQA 降低注意力开销
模型使用了 Sparse GQA（Grouped Query Attention 的稀疏变体），引入 8 token 块级索引机制。传统注意力机制在处理长上下文时，每个 token 都要计算与历史所有 token 的相关性，索引和 top-k 选择的开销随序列长度线性增长。块级索引把连续 8 个 token 视为一个单元建立索引，将这部分开销降至原来的 1/8。
这对 1M token 上下文窗口尤其重要。块级索引在牺牲少量精度的前提下，让长上下文推理在工程上更可行。
权重格式与硬件配置
模型提供 BF16 和 FP8 两种权重格式。BF16（Brain Floating Point 16-bit）是标准训练精度，FP8（8-bit Floating Point）是量化后的推理格式，显存占用约为 BF16 的一半，但可能在某些任务上略微损失精度。
官方给出的硬件配置参考：FP8 权重可以在单个 B300 节点（4 GPUs）或单个 H200 节点（8 GPUs）上运行；BF16 权重需要单个 B300 节点（8 GPUs）或两个 H200 节点（16 GPUs）。这些配置都基于 vLLM 推理引擎，推荐 GPU 内存利用率设为 0.85，最大批处理 token 数 16384，最大序列数 64，推测解码 token 数 3。
推理参数方面，官方建议 temperature 设为 1.0，top_p 设为 0.95，top_k 设为 0。这组参数适合生成任务，温度 1.0 保持采样随机性，top_p 0.95 做核采样过滤，top_k 0 表示不做额外的 top-k 截断。
多模态输入与应用表现
Step 5 Preview 原生支持文本和视觉输入，这意味着图像可以直接作为输入序列的一部分参与推理，不需要外挂独立的视觉编码器再拼接特征。100 万 token 的上下文窗口在多模态场景下尤其有用，可以在一次会话中处理大量图像或长篇文档。
根据第三方统计，Step 5 Preview 在 OpenRouter 平台的周调用量和日调用量榜单中均位居全球第二。OpenRouter 是一个聚合多家模型 API 的路由平台，调用量排名一定程度上反映了开发者和应用的实际使用偏好，但具体调用量数值和第一名是谁未公开。
获取与部署
权重已在 Hugging Face 和 ModelScope 两个平台上线，开发者可以直接下载。部署时需要注意 vLLM 的版本兼容性和张量并行配置，多 GPU 环境下需要正确设置设备映射和通信后端。官方示例中 vLLM 服务端口设为 18000，这只是示例值，实际部署可以改用其他端口。
模型适合需要大参数量支撑知识广度、同时对推理成本敏感的场景，比如长上下文理解、多轮对话、文档分析、多模态交互。如果任务对延迟要求极高或硬件资源有限，密集模型或更小规模的稀疏模型可能是更合适的选择。
目前关于模型训练数据、多语言性能分布、特定领域能力的详细测试尚未公开，开发者在生产环境使用前需要针对自己的任务做充分评估。
原文地址：tools.wflynn.cn/aitools/tre...
关注公众号「YourTools」，每天推送 GitHub 趋势与开源工具速报：
