linux部署olloma deespeek

创建下载目录

mkdir -p ~/ollama && cd ~/ollama

下载 Ollama 的最新版本(请根据实际情况替换链接)

wget https://github.com/ollama/ollama/releases/download/v0.1.12/ollama-linux-amd64.tar.gz

#由于下载速度太慢 我在本地电脑下载通过xftp传输到服务器然后解压的

解压文件

tar -xzf ollama-linux-amd64.tar.gz

移动二进制文件到系统路径(没有用到)

sudo mv ollama /usr/local/bin/

创建并编辑服务配置文件

sudo vim /etc/systemd/system/ollama.service

Unit

Description=Ollama Service

After=network-online.target

Service

ExecStart=/opt/ollama/bin/ollama serve

User=root

Group=root

Restart=always

RestartSec=3

Environment=PATH=$PATH

#解决ollama无法访问的问题

Environment=OLLAMA_HOST=0.0.0.0:11434

#指定配置文件路径

Environment=OLLAMA_CONFIG=/etc/ollama/config.yaml

Install

WantedBy=default.target

重新加载 systemd 配置

sudo systemctl daemon-reload

启动 Ollama 服务

sudo systemctl start ollama.service

设置服务开机自启

sudo systemctl enable ollama.service

检查服务状态

sudo systemctl status ollama.service

拉取 DeepSeek 模型

ollama pull deepseek

ollama run deepseek-r1:7b

使用 DeepSeek 模型进行推理

ollama run deepseek "你的问题"

停止服务

sudo systemctl stop ollama.service

重启服务

sudo systemctl restart ollama.service

查看服务日志

sudo journalctl -u ollama.service

相关推荐
宿州派大星1 天前
[NLP实战] 基于PyTorch实现N-gram词嵌入模型:输入4个词预测第5个词
人工智能·pytorch·深度学习·nlp
宝贝儿好2 天前
【LLM】第六章:LangChain框架中的大模型的创建与调用
人工智能·自然语言处理·nlp·aigc·ai编程
墨心@3 天前
实验 2-6 豆包版复现分析:Agent Skills 从论文生成演示文稿
自然语言处理·nlp·agent·智能体·datawhale共学
tiger8653 天前
大语言模型面试和题解,Context Engineering 怎么做?长 Prompt、动态上下文与 Memory 管理
人工智能·深度学习·算法·语言模型·自然语言处理·面试·nlp
gravity_w5 天前
【CS336】Lecture 2 PyTorch 与资源核算(Resource Accounting)
人工智能·深度学习·语言模型·llm·nlp·flops·cs336
2601_9620777115 天前
基于Python与NLP的新闻事件信息抽取实战:从NER到时空标准化
python·nlp·transformers·spacy·新闻事件抽取
LlmCraft|大模型工程实践17 天前
08 预训练语言模型:BERT 与 GPT
人工智能·深度学习·nlp
空堂与归18 天前
序列数据怎么喂给神经网络?用循环神经网络RNN拆开一个时间步
人工智能·rnn·神经网络·nlp
空堂与归18 天前
RNN记不住长序列怎么办?用 LSTM 三门一通道接旁路
人工智能·rnn·nlp·lstm
DevOpenClub18 天前
多语言内容审核如何避免误翻译:语种检测、纠错与情感分析编排
nlp