Ubuntu环境通过Ollama部署DeepSeek-R1模型教程

Ollama 是一个专注于简化模型部署和推理的工具,特别适合在生产环境中快速部署和运行模型。

以下是如何使用 Ollama 来安装、部署和使用模型的步骤:


一. 安装 Ollama

首先,你需要安装 Ollama。Ollama 通常支持多种平台(如 Linux、macOS 和 Windows)。你可以通过以下方式安装:

在 Linux 或 macOS 上安装:
bash 复制代码
curl -fsSL https://ollama.ai/install.sh | sh

上面命令会下载ollama并自动启动,但是如果系统不支持systemd,会出现下面的异常,需要手动重启。

手动启动ollama命令,执行下面命令前,需要确定ollama是否已经启动,要不会端口冲突。

bash 复制代码
ollama serve &

二. 下载模型并启动

Ollama 支持从模型仓库中直接下载预训练模型。你可以通过以下命令下载:

选择一个自己使用的版本就行,以下是不同步版本的下载并启动命令:

bash 复制代码
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b

安装成功和体验


四. 检查 Ollama 日志

查看 Ollama 的日志文件

查看日志:
  • 日志文件通常位于 ~/.ollama/logs//var/log/ollama.log

  • 运行以下命令查看日志:

    bash 复制代码
    tail -f ~/.ollama/logs/server.log
  • 根据日志中的错误信息进一步排查问题。


5. 重新安装 Ollama

如果服务无法启动,可能是安装过程中出现了问题。可以尝试重新安装 Ollama。

卸载 Ollama:
bash 复制代码
sudo rm -rf /usr/local/bin/ollama
sudo rm -rf ~/.ollama
重新安装:
bash 复制代码
curl -fsSL https://ollama.ai/install.sh | sh

总结

使用 Ollama 可以大大简化模型的部署和推理过程,特别适合在生产环境中快速集成和运行模型。


六. 问题

1、-bash: curl: command not found
sudo apt update
sudo apt install curl
2、-bash: sudo: command not found
apt update
apt install sudo
3、Error: could not connect to ollama app, is it running?

这个错误提示表明 Ollama 服务没有启动

ollama serve
4、Error: listen tcp 127.0.0.1:11434: bind: address already in use

查看端口冲突的进程

sudo lsof -i :11434

然后kill掉进程

kill -9 1234
5、sudo: lsof: command not found
sudo apt update
sudo apt install lsof
相关推荐
Charary14 分钟前
字符设备驱动开发与杂项开发
linux·驱动开发
梦游钓鱼1 小时前
在window终端创建docker容器的问题
运维·docker·容器
孤寂大仙v1 小时前
【Linux笔记】理解文件系统(上)
linux·运维·笔记
沉默的八哥1 小时前
K8S高可用Web应用部署方案
运维
winyh51 小时前
Vite 打包后Nginx部署配置
运维·nginx
钢板兽1 小时前
Java后端高频面经——JVM、Linux、Git、Docker
java·linux·jvm·git·后端·docker·面试
byxdaz2 小时前
NVIDIA显卡驱动、CUDA、cuDNN 和 TensorRT 版本匹配指南
linux·人工智能·深度学习
西西弗Sisyphus2 小时前
主流大语言模型中Token的生成过程本质是串行的
语言模型
大白的编程日记.2 小时前
【Linux学习笔记】Linux基本指令分析和权限的概念
linux·笔记·学习