linux部署olloma deespeek

创建下载目录

mkdir -p ~/ollama && cd ~/ollama

下载 Ollama 的最新版本(请根据实际情况替换链接)

wget https://github.com/ollama/ollama/releases/download/v0.1.12/ollama-linux-amd64.tar.gz

#由于下载速度太慢 我在本地电脑下载通过xftp传输到服务器然后解压的

解压文件

tar -xzf ollama-linux-amd64.tar.gz

移动二进制文件到系统路径(没有用到)

sudo mv ollama /usr/local/bin/

创建并编辑服务配置文件

sudo vim /etc/systemd/system/ollama.service

[Unit]

Description=Ollama Service

After=network-online.target

[Service]

ExecStart=/opt/ollama/bin/ollama serve

User=root

Group=root

Restart=always

RestartSec=3

Environment=PATH=$PATH

#解决ollama无法访问的问题

Environment=OLLAMA_HOST=0.0.0.0:11434

#指定配置文件路径

Environment=OLLAMA_CONFIG=/etc/ollama/config.yaml

[Install]

WantedBy=default.target

重新加载 systemd 配置

sudo systemctl daemon-reload

启动 Ollama 服务

sudo systemctl start ollama.service

设置服务开机自启

sudo systemctl enable ollama.service

检查服务状态

sudo systemctl status ollama.service

拉取 DeepSeek 模型

ollama pull deepseek

ollama run deepseek-r1:7b

使用 DeepSeek 模型进行推理

ollama run deepseek "你的问题"

停止服务

sudo systemctl stop ollama.service

重启服务

sudo systemctl restart ollama.service

查看服务日志

sudo journalctl -u ollama.service

相关推荐
終不似少年遊*2 天前
Transformer 的核心技术Encoder、Decoder、注意力模块解析
人工智能·深度学习·nlp·transformer·注意力机制
studying_mmr2 天前
Word Embeddings
机器学习·数据挖掘·nlp·data mining
南太湖小蚂蚁2 天前
自然语言处理入门1——单词的表示和距离
人工智能·python·深度学习·nlp
studying_mmr3 天前
Natural Language Processing NLP
数据挖掘·nlp·data mining
歌刎4 天前
华为昇腾 910B 部署 DeepSeek-R1 蒸馏系列模型详细指南
linux·人工智能·华为·语言模型·nlp
Q同学6 天前
一张4060完成一个miniLLM全流程训练(一):预训练
深度学习·llm·nlp
开出南方的花9 天前
DeepSeek模型架构及优化内容
人工智能·pytorch·深度学习·机器学习·架构·nlp·attention
X.Cristiano11 天前
[LLM面试题] 指示微调(Prompt-tuning)与 Prefix-tuning区别
面试·nlp·prompt
熊文豪12 天前
深度求索(DeepSeek)的AI革命:NLP、CV与智能应用的技术跃迁
人工智能·ai·自然语言处理·nlp·cv·deepseek·深度求索