linux部署olloma deespeek

创建下载目录

mkdir -p ~/ollama && cd ~/ollama

下载 Ollama 的最新版本(请根据实际情况替换链接)

wget https://github.com/ollama/ollama/releases/download/v0.1.12/ollama-linux-amd64.tar.gz

#由于下载速度太慢 我在本地电脑下载通过xftp传输到服务器然后解压的

解压文件

tar -xzf ollama-linux-amd64.tar.gz

移动二进制文件到系统路径(没有用到)

sudo mv ollama /usr/local/bin/

创建并编辑服务配置文件

sudo vim /etc/systemd/system/ollama.service

Unit

Description=Ollama Service

After=network-online.target

Service

ExecStart=/opt/ollama/bin/ollama serve

User=root

Group=root

Restart=always

RestartSec=3

Environment=PATH=$PATH

#解决ollama无法访问的问题

Environment=OLLAMA_HOST=0.0.0.0:11434

#指定配置文件路径

Environment=OLLAMA_CONFIG=/etc/ollama/config.yaml

Install

WantedBy=default.target

重新加载 systemd 配置

sudo systemctl daemon-reload

启动 Ollama 服务

sudo systemctl start ollama.service

设置服务开机自启

sudo systemctl enable ollama.service

检查服务状态

sudo systemctl status ollama.service

拉取 DeepSeek 模型

ollama pull deepseek

ollama run deepseek-r1:7b

使用 DeepSeek 模型进行推理

ollama run deepseek "你的问题"

停止服务

sudo systemctl stop ollama.service

重启服务

sudo systemctl restart ollama.service

查看服务日志

sudo journalctl -u ollama.service

相关推荐
反方向的钟儿3 天前
人工智能入门(2)
大数据·人工智能·学习·自然语言处理·nlp·vr
冲上云霄的Jayden4 天前
PaddleNLP UIE 通过OCR识别银行回执信息
nlp·ocr·paddle·paddlenlp·信息提取·uie·银行回执
百锦再5 天前
DeepSeek与GPT的全方位对比及其为编程工作带来的巨大变革
人工智能·python·gpt·nlp·deepseek
lihuayong6 天前
自然语言处理NLP-文本预处理
人工智能·自然语言处理·nlp·分词·文本预处理
一支王同学10 天前
使用LLama-Factory的简易教程(Llama3微调案例+详细步骤)
nlp·大语言模型·llama
代码骑士11 天前
LiteratureReading:[2023] GPT-4: Technical Report
nlp
闲人编程13 天前
强化学习:DQN玩转CartPole游戏
人工智能·深度学习·nlp
勤奋的小笼包13 天前
【论文阅读】CARES:医学视觉语言模型可信度的综合基准
论文阅读·人工智能·学习·语言模型·自然语言处理·chatgpt·nlp
勤奋的小笼包14 天前
【论文阅读】MMed-RAG:让多模态大模型告别“事实性幻觉”
论文阅读·人工智能·深度学习·语言模型·自然语言处理·chatgpt·nlp
跑路程序员15 天前
T5常见微调方法
nlp