【华为昇腾|CUDA】服务器A6000显卡部署LLM实战记录

安装驱动

  • https://www.nvidia.cn/drivers/lookup/
  • 搜索对应gpu的kylin版本即可
  • 先使用wget 下载rpm包
  • rpm -i 安装
  • 最后使用dnf install nvidia-driver即可
    • 上面安装的是驱动仓库

安装CUDA

安装Ollama

ollama官方提供aarch64 docker,按照https://hub.docker.com/r/ollama/ollama文档操作即可

启动Ollama

同样按文档--gpus=all使用gpu资源启动容器

在启动后建议:

  • docker exec -it ollama bash进入下容器
  • 运行nvidia-smi,重点查看cuda是否正确显示版本号
    • 错误则显示N/A
  • 一般看到cuda版本号ollama即可正常使用gpu推理
相关推荐
我是华为OD~HR~栗栗呀16 分钟前
Java面经(22届考研-华oD)
java·后端·python·华为od·华为
jz_ddk1 小时前
[嵌入式] U-Boot 环境变量深度解析:从 QSPI 到 eMMC 的 Linux 启动完整指南
linux·运维·服务器·嵌入式·环境变量·u-boot·内核加载
练习时长一年1 小时前
Bean后处理器
java·服务器·前端
semantist@语校1 小时前
语校网500所里程碑:日本语言学校数据库的标准化与可追溯机制
大数据·数据库·人工智能·百度·语言模型·oracle·github
野犬寒鸦2 小时前
从零起步学习Redis || 第五章:利用Redis构造分布式全局唯一ID
java·服务器·数据库·redis·分布式·后端·缓存
yenggd2 小时前
QoS之流量整形配置方法
网络·数据库·华为
btyzadt2 小时前
Ubuntu防火墙端口管理指南
linux·运维·服务器
fei_sun2 小时前
【复习】计网强化第一章
运维·服务器·网络
每天更新3 小时前
linux内核时间&定时器&延时
linux·运维·服务器
杜子不疼.3 小时前
【Linux】冯 • 诺依曼体系结构
linux·运维·服务器