linux部署olloma deespeek

创建下载目录

mkdir -p ~/ollama && cd ~/ollama

下载 Ollama 的最新版本(请根据实际情况替换链接)

wget https://github.com/ollama/ollama/releases/download/v0.1.12/ollama-linux-amd64.tar.gz

#由于下载速度太慢 我在本地电脑下载通过xftp传输到服务器然后解压的

解压文件

tar -xzf ollama-linux-amd64.tar.gz

移动二进制文件到系统路径(没有用到)

sudo mv ollama /usr/local/bin/

创建并编辑服务配置文件

sudo vim /etc/systemd/system/ollama.service

Unit

Description=Ollama Service

After=network-online.target

Service

ExecStart=/opt/ollama/bin/ollama serve

User=root

Group=root

Restart=always

RestartSec=3

Environment=PATH=$PATH

#解决ollama无法访问的问题

Environment=OLLAMA_HOST=0.0.0.0:11434

#指定配置文件路径

Environment=OLLAMA_CONFIG=/etc/ollama/config.yaml

Install

WantedBy=default.target

重新加载 systemd 配置

sudo systemctl daemon-reload

启动 Ollama 服务

sudo systemctl start ollama.service

设置服务开机自启

sudo systemctl enable ollama.service

检查服务状态

sudo systemctl status ollama.service

拉取 DeepSeek 模型

ollama pull deepseek

ollama run deepseek-r1:7b

使用 DeepSeek 模型进行推理

ollama run deepseek "你的问题"

停止服务

sudo systemctl stop ollama.service

重启服务

sudo systemctl restart ollama.service

查看服务日志

sudo journalctl -u ollama.service

相关推荐
极光代码工作室1 天前
基于BERT的新闻文本分类系统
深度学习·nlp·bert·文本分类
Learn Beyond Limits2 天前
神经机器翻译|Neural Machine Translation(NMT)
人工智能·神经网络·机器学习·ai·自然语言处理·nlp·机器翻译
羊小猪~~3 天前
LLM--VIT简介
大模型·llm·nlp·多模态·多模态大模型·vit·ai算法
lin_dec+4 天前
KV Cache:大模型推理加速的关键技术
nlp·transformer·vllm·大模型推理·kv cache
Learn Beyond Limits4 天前
多层循环神经网络|Multi-layer RNNs
人工智能·rnn·深度学习·神经网络·机器学习·自然语言处理·nlp
羊小猪~~5 天前
LLM--BERT架构解析
人工智能·深度学习·大模型·llm·nlp·bert·ai算法
带娃的IT创业者5 天前
期中总结:从神经元到 GPT——AI 架构全景回顾(Version B)
人工智能·gpt·深度学习·神经网络·架构·nlp·transformer
Learn Beyond Limits7 天前
长短期记忆网络|LSTM(Long Short-Term Memory)
人工智能·rnn·深度学习·神经网络·自然语言处理·nlp·lstm
Learn Beyond Limits7 天前
双向循环神经网络|Bi-RNN(Bidirectional Recurrent Neural Networks)
人工智能·rnn·深度学习·神经网络·语言模型·自然语言处理·nlp
请数据别和我作队7 天前
基于 DeepSeek API 的 ASR 文本纠错脚本实战:Python 多线程批量处理 JSONL 语音转写数据
开发语言·经验分享·python·自然语言处理·nlp