Day 0 实测|在 GPUStack 上部署 Inkling-BF16:8 卡 H20-141G 推理性能测试

Inkling 是由 Thinking Machines Lab 发布的新一代开源多模态大语言模型,采用 Mixture-of-Experts(MoE)Transformer 架构,支持文本、图像和音频等多模态输入,并生成文本输出。模型拥有约 975B 总参数、41B 激活参数,并支持最长 1M token 上下文窗口。

在能力方面,Inkling 面向通用智能、Agent、工具调用以及复杂推理任务进行了优化,同时支持 MTP(Multi-Token Prediction)等推理加速技术,可结合 vLLM、SGLang 等主流推理引擎进行部署。

1. 登录 GPUStack 选择推理后端

测试环境:

  • 8 × H20-141G

2. 添加版本

点击 添加版本(Add Version)

镜像名称:

bash 复制代码
vllm/vllm-openai:nightly

3. 点击部署,开始部署

Node 0 参数

bash 复制代码
--trust-remote-code
--tokenizer-mode=inkling
--kernel-config.enable_flashinfer_autotune=False
--tensor-parallel-size=8
--data-parallel-size=2
--data-parallel-size-local=1
--enable-expert-parallel
--data-parallel-rpc-port=13389
--data-parallel-address=10.91.3.213
--data-parallel-hybrid-lb
--max-model-len=131072
--max-num-seqs=10
--enable-auto-tool-choice
--tool-call-parser=inkling
--speculative-config '{"method":"mtp","num_speculative_tokens":1}'
--reasoning-parser=inkling

环境变量:

bash 复制代码
PYPI_PACKAGES_INSTALL=scipy==1.18.0 -i https://mirrors.aliyun.com/pypi/simple/

Node 1 参数

bash 复制代码
--trust-remote-code
--tokenizer-mode=inkling
--kernel-config.enable_flashinfer_autotune=False
--tensor-parallel-size=8
--data-parallel-size=2
--data-parallel-size-local=1
--data-parallel-start-rank 1
--enable-expert-parallel
--data-parallel-rpc-port=13389
--data-parallel-address=10.91.3.213
--data-parallel-hybrid-lb
--max-model-len=131072
--max-num-seqs=10
--enable-auto-tool-choice
--tool-call-parser=inkling
--speculative-config '{"method":"mtp","num_speculative_tokens":1}'
--reasoning-parser=inkling

环境变量:

bash 复制代码
PYPI_PACKAGES_INSTALL=scipy==1.18.0 -i https://mirrors.aliyun.com/pypi/simple/

模型进入 Running 状态后,可以直接通过 GPUStack 试验场进行交互测试。

在默认配置下,Inkling 输出速度达到 80+ Tokens/s,能够正常完成多轮文本对话,并支持思考过程解析。

同时支持原生多模态能力。

4. 测评

测试配置:

  • Input Length:64K
  • Output Length:3K
  • Requests:10

测试结果如下:

指标 结果
Output Token Throughput 56.10 tok/s
Peak Output Throughput 78.00 tok/s
Total Token Throughput 1253.09 tok/s
Mean TTFT 92.77s
Mean TPOT 97.09 ms/token

在长上下文输入场景下,Inkling 可以稳定完成 64K 上下文推理任务,并保持持续输出能力。

相关推荐
九卷16 小时前
本体(Ontology)是什么?在 AI 中,本体的作用到底是什么?.md
大模型·agent
吴佳浩19 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
wflynn1 天前
Google 观察到首个全自动化网络攻击,AI 框架已能独立完成漏洞利用
ai·技术
zdr尽职尽责1 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
用户95179422510291 天前
Agent Harness 工程(I5):权限与沙箱——让否决改变控制流
llm·agent
佛系1891 天前
从服务端日志精确分离搜索抓取、监控探测与真实流量的实操清单
ai·大模型·seo·geo·结构化数据·indexnow
MSTcheng.1 天前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
LiaoWL1231 天前
从零搭一个 RAG 知识库(二):换上语义 Embedding——BGE 实测与阈值重校准
python·大模型·numpy·embedding·向量检索·rag
一起学安全技术1 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
TomEval2 天前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai