【华为昇腾|CUDA】服务器A6000显卡部署LLM实战记录

安装驱动

  • https://www.nvidia.cn/drivers/lookup/
  • 搜索对应gpu的kylin版本即可
  • 先使用wget 下载rpm包
  • rpm -i 安装
  • 最后使用dnf install nvidia-driver即可
    • 上面安装的是驱动仓库

安装CUDA

安装Ollama

ollama官方提供aarch64 docker,按照https://hub.docker.com/r/ollama/ollama文档操作即可

启动Ollama

同样按文档--gpus=all使用gpu资源启动容器

在启动后建议:

  • 先docker exec -it ollama bash进入下容器
  • 运行nvidia-smi,重点查看cuda是否正确显示版本号
    • 错误则显示N/A
  • 一般看到cuda版本号ollama即可正常使用gpu推理
相关推荐
戊本菌5 小时前
进程(三)runqueue 与 Linux 的 O(1) 调度
linux·运维·服务器
叼烟扛炮11 小时前
[LangChain] 学习笔记(15):为什么你的重试没用——429、抖动、fallback 与熔断
java·服务器·前端
hi_ro_a11 小时前
Ext系列⽂件系统详解
linux·服务器·操作系统
huang_xiaoen11 小时前
鸿蒙手机远程控制电脑哪个好用?2026鸿蒙远控软件横测推荐
华为·harmonyos·远程工作·远程工具·远程办公
Dawson Zhu12 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
你住过的屋檐14 小时前
【SeaweedFS】Linux上搭建SeaweedFS文件存储服务完整教程
linux·运维·服务器
whitelbwwww14 小时前
cuBLAS--CUDA高性能线性代数计算库--第一部分
c++·线性代数·gpu算力·cuda c++
2401_8685347817 小时前
天融信网络安全面试题
服务器·网络
澹锦汐1 天前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
无忧.芙桃1 天前
Linux系统编程(四):用户与权限管理
linux·运维·服务器