【华为昇腾|CUDA】服务器A6000显卡部署LLM实战记录

安装驱动

  • https://www.nvidia.cn/drivers/lookup/
  • 搜索对应gpu的kylin版本即可
  • 先使用wget 下载rpm包
  • rpm -i 安装
  • 最后使用dnf install nvidia-driver即可
    • 上面安装的是驱动仓库

安装CUDA

安装Ollama

ollama官方提供aarch64 docker,按照https://hub.docker.com/r/ollama/ollama文档操作即可

启动Ollama

同样按文档--gpus=all使用gpu资源启动容器

在启动后建议:

  • docker exec -it ollama bash进入下容器
  • 运行nvidia-smi,重点查看cuda是否正确显示版本号
    • 错误则显示N/A
  • 一般看到cuda版本号ollama即可正常使用gpu推理
相关推荐
小红帽2.020 分钟前
从ioutil到os:Golang在线客服聊天系统文件读取的迁移实践
服务器·开发语言·golang
wanhengidc1 小时前
造成云手机闪退的原因有哪些?
服务器·网络·安全·智能手机·媒体
叔叔别拉了我害怕4 小时前
封装FTPSClient连接ftps服务器
服务器·git·github
不甘懦弱4 小时前
阿里云搭建flask服务器
服务器·python·flask
the sun344 小时前
Reactor设计模式及其在epoll中的应用
linux·运维·服务器·c++
VVVVWeiYee4 小时前
BGP高级特性
运维·服务器·网络
运维成长记5 小时前
Top 100 Linux Interview Questions and Answers
linux·运维·服务器
人工智能训练师5 小时前
openEuler系统中如何将docker安装在指定目录
linux·运维·服务器·人工智能·ubuntu
想学c啊啊6 小时前
【Linux】信号(二):Linux原生线程库相关接口
linux·运维·服务器
Fine姐6 小时前
自然语言处理NLP L4: 高级语言模型——四种泛化平滑方式
人工智能·语言模型·自然语言处理