ollama+dify安装 - 技术栈

暂时没有图文，下次有再次安装的时候再配图文

1.安装nvidia

复制代码

    检测是否安装驱动
	lspci | grep -i nvidia
	禁用nouveau驱动
	sudo nano /etc/modprobe.d/blacklist-nouveau.conf
    添加以下内容
		blacklist nouveau
		options nouveau modeset=0
    更新initramfs
	sudo update-initramfs -u
	检查可安装的驱动
	ubuntu-drivers devices
	安装指定版本(非必要尽量安装带有open的，因为ubentu可能不识别不带open的)
	sudo apt install nvidia-driver-580-open
	重启电脑
	sudo reboot
	测试是否完成(如果出现显卡状态说明安装成功了)
	nvidia-smi

2.安装cuda

复制代码

	官网地址，根据官网给的命令安装即可
	https://developer.nvidia.com/cuda-toolkit-archive
	测试是否安装成功
	nvcc -V

3.安装cudnn

复制代码

	https://developer.nvidia.com/cudnn
	根据官方命令安装即可

安装驱动后黑屏/无法进入系统

尝试在GRUB引导时选择"Advanced options"，使用恢复模式

卸载驱动后重新安装

nvidia-smi命令找不到

确认驱动是否正确安装

检查PATH环境变量是否包含/usr/bin/

CUDA版本不匹配

确保CUDA工具包版本不超过驱动支持的最高版本

使用nvidia-smi查看驱动支持的CUDA版本

尝试在GRUB引导时选择"Advanced options"，使用恢复模式

卸载驱动后重新安装

nvidia-smi命令找不到

确认驱动是否正确安装

检查PATH环境变量是否包含/usr/bin/

CUDA版本不匹配

确保CUDA工具包版本不超过驱动支持的最高版本

使用nvidia-smi查看驱动支持的CUDA版本

4.安装ollama

复制代码

	从官网下载包，然后进行解压(解压时注意存放路径和命令路径)
	sudo tar -C /usr -xzf ollama-linux-amd64.tgz
	如果报错：bash: sudo: command not found
	apt-get update
	apt-get install sudo
	验证是否成功
	ollama serve
	设为自启
	sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
	sudo usermod -a -G ollama $(whoami)
	创建服务文件
	创建一个 systemd 服务文件来管理 Ollama 作为后台服务运行。该文件通常位于 /etc/systemd/system/ollama.service
	
	[Unit]
	Description=Ollama Service
	After=network-online.target
	 
	[Service]
	ExecStart=/usr/bin/ollama serve
	User=ollama
	Group=ollama
	Restart=always
	RestartSec=3
	Environment="PATH=/usr/local/sbin"
	Environment="OLLAMA_HOST=0.0.0.0:11434"
	Environment="OLLAMA_GPU_LAYER=cuda"
	Environment="OLLAMA_ORIGINS=*"
	Environment="OLLAMA_NUM_PARALLEL=2"  # 最大同时执行数
	Environment="OLLAMA_MAX_LOADED_MODELS=2" #最大模型加载数
	[Install]
	WantedBy=default.target
	
	启动服务
	sudo systemctl daemon-reload
	sudo systemctl enable ollama
	启动、重启、查看状态
	Start Ollama
	Start Ollama and verify it is running:
	sudo systemctl start ollama
	sudo systemctl status ollama
	sudo systemctl restart ollama

5.安装dify

复制代码

	为了方便管理从宝塔进行安装：
	https://www.bt.cn/new/download.html
	从官网下载dify包
	https://gitcode.com/GitHub_Trending/di/dify?source_module=search_result_repo
	找到docker目录
	docker-compose up -d