MI50运算卡使用llama.cpp的ROCm后端运行gpt-oss-20b的速度测试

使用unsloth提供的 gpt-oss-20b-UD-Q4_K_XL 量化版本

llama.cpp:b6987

bash 复制代码
ggml_cuda_init: GGML_CUDA_FORCE_MMQ:    no
ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no
ggml_cuda_init: found 1 ROCm devices:
  Device 0: AMD Radeon Graphics, gfx906:sramecc-:xnack- (0x906), VMM: no, Wave Size: 64
| model                          |       size |     params | backend    | ngl |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: |
| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | ROCm       |  99 |           pp512 |       1109.90 ± 7.26 |
| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | ROCm       |  99 |           tg128 |        106.59 ± 0.03 |
相关推荐
薛定猫AI18 小时前
【深度解析】从 Claude Jupiter 到 ARC-AGI 3:大模型发布信号、评测体系与多模型工程接入实践
人工智能·agi
刘一说18 小时前
AI 热点资讯日报-2026-05-01
人工智能
threelab18 小时前
Three.js 代码云效果 | 三维可视化 / AI 提示词
开发语言·javascript·人工智能
Java小生不才18 小时前
Spring AI文生音
java·人工智能·spring
jinanwuhuaguo18 小时前
(第二十八篇)OpenClaw成本与感知的奇点——从“Token封建制”到“全民养虾”的本体论地基
android·人工智能·kotlin·拓扑学·openclaw
byte轻骑兵18 小时前
【HID】规范精讲[8]: 蓝牙HID核心之L2CAP层——无线人机交互的通信桥梁设计解析
人工智能·人机交互·蓝牙·键盘·hid
Peter·Pan爱编程19 小时前
第一篇:什么是 Vibe Coding?核心素养与范式转移
人工智能·ai编程
V搜xhliang024619 小时前
OpenClaw科研全场景用法:从文献到实验室的完整自动化方案
运维·开发语言·人工智能·python·算法·microsoft·自动化
05候补工程师19 小时前
【ROS 2 具身智能】Gazebo 仿真避坑指南:从“幽灵机器人”到传感器数据流打通
人工智能·经验分享·笔记·ubuntu·机器人
kaikaile199519 小时前
风、浪、流环境模型的船舶三自由度(纵荡、横荡、艏摇)运动仿真MATLAB
开发语言·人工智能·matlab