关于Ollama在RX9070xt上无法识别GPU问题

最近在跑本地大模型,下载了ollama,想跑下deepseek-r1,发现跑推理时候没有使用到我的GPU,只有CPU狠狠拉满

后续在github查issue时候发现有人和我遇到相同问题,下面贴一下

按照他的步骤和我理解,重新梳理得出如下步骤

第一步 安装HIP AMD HIP SDK for Windows

我的是9070xt,选择红框部分更新

第二步,添加环境变量

ROCBLAS_TENSILE_LIBPATH 建议两个都新增一下
ROCBLAS_TENSILE_LIBPATH 值为C:\Program Files\AMD\ROCm\6.4\bin\rocblas\library

系统变量添加
OLLAMA_VULKAN 值为1

第三步 下载ollama相关配置

1.我这边下载0.13.5 的压缩包

2.下载hip sdk 0.6.4.2

3.然后随便找个版本的ollama.exe 启动器

下载工作准备完成后,放到同一个文件夹​​​​​​​

开始安装ollama

如果直接点击exe文件会直接安装到C盘,这里我想安装到D盘,操作如下

在当前文件夹启动终端cmd,输入OllamaSetup.exe /DIR=D:\Ollama,就可以安装到D盘了

安装完后需要替换文件

上面我们解压rocm.for.official.Support得到两个东西,一个文件夹一个配置文件

将解压的文件夹替换原来安装ollama时候生成的新lib文件里面的library文件夹,我的路径是D:\Ollama\lib\ollama\rocm\rocblas ​​​​​​​

将解压的配置文件替换原来安装ollama时候生成的新lib文件里面的library文件夹,我的路径是D:\Ollama\lib\ollama\rocm 里面的rocblas.dll文件

替换重新启动访问,可以识别到显卡,并且使用显卡进行推理了

相关推荐
CNNACN电商经济12 天前
纸价波动加速中小产能出清,包装印刷板块龙头份额提升与议价能力重估
科技·生活
绿算技术12 天前
Mooncake 与绿算ForinnBase GroundPool如何联手打破推理僵局?
科技·算法·架构
nanoscientific12 天前
在芬顿耦合微纳米气泡系统中最大化利用界面处的Fe²⁺以实现有机污染物降解。
科技·微纳米气泡
蓝速科技12 天前
蓝速科技 AI 数字人部署与交互实战指南
人工智能·科技·交互
智塑未来12 天前
蒸汽热力循环仿真精度效果评估——秩益科技DIMAXER核电能源解决方案技术白皮书
科技·能源
苏州邦恩精密12 天前
GOM三维扫描在制造中的真实价值:让“修模”从经验动作变成数据动作
人工智能·科技·机器学习·3d·自动化·制造
云边云科技_云网融合12 天前
SASE:重新定义企业网络安全边界的 “云网安一体化“ 方案
网络·科技
cd_9492172112 天前
云工场科技将携AIoT道路巡查与算力体系,亮相大湾区智慧交通大会
人工智能·科技
searchforAI12 天前
啥是LLM?大语言模型从原理到选型的完整科普
人工智能·科技·深度学习·ai·语言模型·知识图谱·agent
第***月13 天前
云南跟团行:在山水与烟火间读懂远方
科技·生活·旅游·美食·风景