linux部署olloma deespeek

创建下载目录

mkdir -p ~/ollama && cd ~/ollama

下载 Ollama 的最新版本(请根据实际情况替换链接)

wget https://github.com/ollama/ollama/releases/download/v0.1.12/ollama-linux-amd64.tar.gz

#由于下载速度太慢 我在本地电脑下载通过xftp传输到服务器然后解压的

解压文件

tar -xzf ollama-linux-amd64.tar.gz

移动二进制文件到系统路径(没有用到)

sudo mv ollama /usr/local/bin/

创建并编辑服务配置文件

sudo vim /etc/systemd/system/ollama.service

Unit

Description=Ollama Service

After=network-online.target

Service

ExecStart=/opt/ollama/bin/ollama serve

User=root

Group=root

Restart=always

RestartSec=3

Environment=PATH=$PATH

#解决ollama无法访问的问题

Environment=OLLAMA_HOST=0.0.0.0:11434

#指定配置文件路径

Environment=OLLAMA_CONFIG=/etc/ollama/config.yaml

Install

WantedBy=default.target

重新加载 systemd 配置

sudo systemctl daemon-reload

启动 Ollama 服务

sudo systemctl start ollama.service

设置服务开机自启

sudo systemctl enable ollama.service

检查服务状态

sudo systemctl status ollama.service

拉取 DeepSeek 模型

ollama pull deepseek

ollama run deepseek-r1:7b

使用 DeepSeek 模型进行推理

ollama run deepseek "你的问题"

停止服务

sudo systemctl stop ollama.service

重启服务

sudo systemctl restart ollama.service

查看服务日志

sudo journalctl -u ollama.service

相关推荐
在未来等你9 小时前
RAG实战指南 Day 24:上下文构建与提示工程
nlp·rag·retrieval-augmented generation·prompt engineering·context management
AI大模型3 天前
基于 RAG 和 Claude 的智能文档聊天系统实战指南
程序员·llm·nlp
Easy数模3 天前
ModernBERT如何突破BERT局限?情感分析全流程解析
人工智能·深度学习·nlp·bert
Himon5 天前
LLM参数有效性学习综述
人工智能·算法·nlp
合作小小程序员小小店7 天前
web网页开发,在线%微博,舆情%系统,基于python,pycharm,django,nlp,内容推荐,余弦,线性,TF-IDF,mysql
自然语言处理·django·nlp·html5·tf-idf
胡耀超14 天前
Umi-OCR 的 Docker安装(win制作镜像,Linux(Ubuntu Server 22.04)离线部署)
linux·深度学习·ubuntu·docker·容器·nlp·ocr
用户0956691600914 天前
使用modelscope在本地部署文本情感分析模型并对外提供api接口
nlp
uncle_ll14 天前
李宏毅NLP-9-语音转换
自然语言处理·nlp·语音识别·tts·语音变换
陈敬雷-充电了么-CEO兼CTO18 天前
主流大模型Agent框架 AutoGPT详解
人工智能·python·gpt·ai·chatgpt·nlp·aigc