暂时没有图文，下次有再次安装的时候再配图文
1.安装nvidia
检测是否安装驱动
lspci | grep -i nvidia
禁用nouveau驱动
sudo nano /etc/modprobe.d/blacklist-nouveau.conf
添加以下内容
blacklist nouveau
options nouveau modeset=0
更新initramfs
sudo update-initramfs -u
检查可安装的驱动
ubuntu-drivers devices
安装指定版本(非必要尽量安装带有open的，因为ubentu可能不识别不带open的)
sudo apt install nvidia-driver-580-open
重启电脑
sudo reboot
测试是否完成(如果出现显卡状态说明安装成功了)
nvidia-smi2.安装cuda
官网地址，根据官网给的命令安装即可
https://developer.nvidia.com/cuda-toolkit-archive
测试是否安装成功
nvcc -V3.安装cudnn
https://developer.nvidia.com/cudnn
根据官方命令安装即可安装驱动后黑屏/无法进入系统
尝试在GRUB引导时选择"Advanced options"，使用恢复模式
卸载驱动后重新安装
nvidia-smi命令找不到
确认驱动是否正确安装
检查PATH环境变量是否包含/usr/bin/
CUDA版本不匹配
确保CUDA工具包版本不超过驱动支持的最高版本
使用nvidia-smi查看驱动支持的CUDA版本
尝试在GRUB引导时选择"Advanced options"，使用恢复模式
卸载驱动后重新安装
nvidia-smi命令找不到
确认驱动是否正确安装
检查PATH环境变量是否包含/usr/bin/
CUDA版本不匹配
确保CUDA工具包版本不超过驱动支持的最高版本
使用nvidia-smi查看驱动支持的CUDA版本
4.安装ollama
从官网下载包，然后进行解压(解压时注意存放路径和命令路径)
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
如果报错：bash: sudo: command not found
apt-get update
apt-get install sudo
验证是否成功
ollama serve
设为自启
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
创建服务文件
创建一个 systemd 服务文件来管理 Ollama 作为后台服务运行。该文件通常位于 /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_GPU_LAYER=cuda"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_NUM_PARALLEL=2" # 最大同时执行数
Environment="OLLAMA_MAX_LOADED_MODELS=2" #最大模型加载数
[Install]
WantedBy=default.target
启动服务
sudo systemctl daemon-reload
sudo systemctl enable ollama
启动、重启、查看状态
Start Ollama
Start Ollama and verify it is running:
sudo systemctl start ollama
sudo systemctl status ollama
sudo systemctl restart ollama5.安装dify
为了方便管理从宝塔进行安装：
https://www.bt.cn/new/download.html
从官网下载dify包
https://gitcode.com/GitHub_Trending/di/dify?source_module=search_result_repo
找到docker目录
docker-compose up -d