【华为昇腾|CUDA】服务器A6000显卡部署LLM实战记录

安装驱动

  • https://www.nvidia.cn/drivers/lookup/
  • 搜索对应gpu的kylin版本即可
  • 先使用wget 下载rpm包
  • rpm -i 安装
  • 最后使用dnf install nvidia-driver即可
    • 上面安装的是驱动仓库

安装CUDA

安装Ollama

ollama官方提供aarch64 docker,按照https://hub.docker.com/r/ollama/ollama文档操作即可

启动Ollama

同样按文档--gpus=all使用gpu资源启动容器

在启动后建议:

  • docker exec -it ollama bash进入下容器
  • 运行nvidia-smi,重点查看cuda是否正确显示版本号
    • 错误则显示N/A
  • 一般看到cuda版本号ollama即可正常使用gpu推理
相关推荐
凡间客15 小时前
5、Python3编程之面向对象
java·服务器·数据库
djk888815 小时前
一个完整的 TCP 服务器监听示例(C#)
服务器·tcp/ip·c#
qq_3930604715 小时前
阿里云创建交换分区、设置内存监控预警和自动处理内存占用过大进程的脚本
linux·服务器·阿里云
曦樂~15 小时前
【Qt】TCP连接--客户端和服务器
服务器·网络·c++·qt·tcp/ip
TG_yunshuguoji15 小时前
阿里云渠道商:阿里云哪些功能很必要?
服务器·阿里云·云计算
TG_yunshuguoji15 小时前
阿里云代理商:如何给阿里云配置网络ACL?
服务器·网络·阿里云·云计算
从后端到QT16 小时前
大语言模型本地部署之转录文本总结
人工智能·语言模型·自然语言处理
赵健zj17 小时前
鸿蒙 emitter 和 eventHub 的区别
华为·harmonyos
☆璇17 小时前
【Linux】Socket编程TCP
linux·服务器·tcp/ip
智星云算力17 小时前
Ubuntu 25.10 “Questing Quokka” 版本解析
服务器·gpu算力·一体机·智星云·ai工作站