linux部署olloma deespeek

创建下载目录

mkdir -p ~/ollama && cd ~/ollama

下载 Ollama 的最新版本(请根据实际情况替换链接)

wget https://github.com/ollama/ollama/releases/download/v0.1.12/ollama-linux-amd64.tar.gz

#由于下载速度太慢 我在本地电脑下载通过xftp传输到服务器然后解压的

解压文件

tar -xzf ollama-linux-amd64.tar.gz

移动二进制文件到系统路径(没有用到)

sudo mv ollama /usr/local/bin/

创建并编辑服务配置文件

sudo vim /etc/systemd/system/ollama.service

Unit

Description=Ollama Service

After=network-online.target

Service

ExecStart=/opt/ollama/bin/ollama serve

User=root

Group=root

Restart=always

RestartSec=3

Environment=PATH=$PATH

#解决ollama无法访问的问题

Environment=OLLAMA_HOST=0.0.0.0:11434

#指定配置文件路径

Environment=OLLAMA_CONFIG=/etc/ollama/config.yaml

Install

WantedBy=default.target

重新加载 systemd 配置

sudo systemctl daemon-reload

启动 Ollama 服务

sudo systemctl start ollama.service

设置服务开机自启

sudo systemctl enable ollama.service

检查服务状态

sudo systemctl status ollama.service

拉取 DeepSeek 模型

ollama pull deepseek

ollama run deepseek-r1:7b

使用 DeepSeek 模型进行推理

ollama run deepseek "你的问题"

停止服务

sudo systemctl stop ollama.service

重启服务

sudo systemctl restart ollama.service

查看服务日志

sudo journalctl -u ollama.service

相关推荐
kunge201313 天前
自然语言处理基础-迈向NLP领域的第1步台阶
nlp
羊小猪~~14 天前
【NLP入门系列三】NLP文本嵌入(以Embedding和EmbeddingBag为例)
人工智能·深度学习·神经网络·自然语言处理·大模型·nlp·embedding
爱学习的书文14 天前
Datawhlale_快乐学习大模型_task02_NLP 基础概念
大模型·nlp·datawhale打卡
我想说一句14 天前
在Colab玩转大模型:一天速成NLP魔法师!
前端·nlp·trae
AI-星辰18 天前
始理解NLP:我的第一章学习心得
人工智能·大模型·llm·nlp
故事挺秃然19 天前
中文分词:机械分词算法详解与实践总结
算法·nlp
love530love19 天前
是否需要预先安装 CUDA Toolkit?——按使用场景分级推荐及进阶说明
linux·运维·前端·人工智能·windows·后端·nlp
故事挺秃然21 天前
MCP(模型上下文协议)——AI生态的“万能插座”
nlp·mcp
zsq21 天前
【论文阅读笔记】HaDes幻觉检测benchmark
论文阅读·笔记·nlp·大语言模型幻觉
故事挺秃然23 天前
TF-IDF算法的代码实践应用——关键词提取、文本分类、信息检索
nlp