MI50运算卡使用llama.cpp的ROCm后端运行gpt-oss-20b的速度测试

使用unsloth提供的 gpt-oss-20b-UD-Q4_K_XL 量化版本

llama.cpp:b6987

bash 复制代码
ggml_cuda_init: GGML_CUDA_FORCE_MMQ:    no
ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no
ggml_cuda_init: found 1 ROCm devices:
  Device 0: AMD Radeon Graphics, gfx906:sramecc-:xnack- (0x906), VMM: no, Wave Size: 64
| model                          |       size |     params | backend    | ngl |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: |
| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | ROCm       |  99 |           pp512 |       1109.90 ± 7.26 |
| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | ROCm       |  99 |           tg128 |        106.59 ± 0.03 |
相关推荐
这张生成的图像能检测吗1 天前
(论文速读)基于知识图谱构建的大型工业设备故障诊断模型
人工智能·深度学习·知识图谱·故障诊断
#卢松松#1 天前
腾讯云宣布涨价
人工智能·创业创新
ccLianLian1 天前
深度学习基础·损失函数
人工智能·深度学习
reasonsummer1 天前
【教学类-160-04】20260411 AI视频培训-练习4“万相AI视频《逐光而笑》+豆包图片风格:人像摄影”
人工智能·通义万相
俊哥V1 天前
每日 AI 研究简报 · 2026-04-11
人工智能·ai
DevOpenClub1 天前
NLP 命名实体识别 API 接口
人工智能·自然语言处理
ZC跨境爬虫1 天前
Dan koe视频笔记: 个人成长与目标设定的重要性
人工智能·笔记·搜索引擎
AI攻城狮1 天前
OpenClaw 本地内存检索与 node-llama-cpp 的依赖关系深度解析
人工智能·云原生·aigc
Elastic 中国社区官方博客1 天前
使用 Elasticsearch + Jina embeddings 进行无监督文档聚类
大数据·人工智能·elasticsearch·搜索引擎·全文检索·jina
熊猫钓鱼>_>1 天前
从零构建大模型可调用的Skill:基于Function Calling的完整指南
人工智能·算法·语言模型·架构·agent·skill·functioncall