MI50运算卡使用llama.cpp的ROCm后端运行gpt-oss-20b的速度测试

使用unsloth提供的 gpt-oss-20b-UD-Q4_K_XL 量化版本

llama.cpp:b6987

bash 复制代码
ggml_cuda_init: GGML_CUDA_FORCE_MMQ:    no
ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no
ggml_cuda_init: found 1 ROCm devices:
  Device 0: AMD Radeon Graphics, gfx906:sramecc-:xnack- (0x906), VMM: no, Wave Size: 64
| model                          |       size |     params | backend    | ngl |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: |
| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | ROCm       |  99 |           pp512 |       1109.90 ± 7.26 |
| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | ROCm       |  99 |           tg128 |        106.59 ± 0.03 |
相关推荐
Brduino脑机接口技术答疑4 分钟前
TDCA 算法在 SSVEP 场景中的训练必要性
人工智能·算法·机器学习·脑机接口
悟道心14 分钟前
1.自然语言处理NLP - 入门
人工智能·自然语言处理
雪花desu21 分钟前
深度解析RAG(检索增强生成)技术
人工智能·深度学习·语言模型·chatgpt·langchain
咚咚王者1 小时前
人工智能之数学基础 离散数学:第四章 离散概率
人工智能
阿标在干嘛1 小时前
科力辰平台:作为一个科技查新平台,其核心能力边界在哪里?
人工智能·科技
徽4401 小时前
农田植被目标检测数据标注与模型训练总结3
人工智能·目标检测·目标跟踪
冒泡的肥皂1 小时前
25年AI我得DEMO老师
人工智能·后端
骑猪兜风2331 小时前
软件工程大师 Martin Fowler 谈 AI 与软件工程的变迁
人工智能·软件工程·ai编程
serve the people1 小时前
Agent 基于大模型接口实现用户意图识别:完整流程与实操
大数据·人工智能·agent
云计算小黄同学1 小时前
软件工程/SRE 专家:AI 胜任力进阶路线图
人工智能·软件工程