服务器上通过ollama部署deepseek

2025年1月下旬,DeepSeek的R1模型发布后的一周内就火了,性能比肩OpenAI的o1模型,且训练成本仅为560万美元,成本远低于openAI,使得英伟达股票大跌。

下面我们来看下如何个人如何部署deepseek-r1模型。

我是用的仙宫云的服务器通过ollama部署的deepseek.

首先我们去ollama官方网站https://ollama.com/

下载ollama

我这里是ubuntu服务器,执行命令

curl -fsSL https://ollama.com/install.sh | sh

安装之后ollama之后,

由于我需要外网访问,改下环境配置

export OLLAMA_HOST=0.0.0.0:11434;

export OLLAMA_ORIGINS= *

再执行ollama serve启动

去ollama上找下deepseek 模型 https://ollama.com/search

deepseek有很多参数的模型可以选择,根据自己的机器选择

我这里是一台4090D,选择了32b的模型

执行ollama run deepseek-r1:32b就可以下载模型,下载完成出现下图这个命令行发送信息的提示就算成功。

测试下效果,好了部署是没问题了,在命令行太不方便了,这里我们用chatbox来配置带有界面的聊天。

下载个chatbox

https://chatboxai.app/zh#download

这里我选择window客户端

配置在仙宫云服务器的域名地址

配置好了之后会自动选择deepseek-r1:32b的模型

测试下效果,问deepseek如何部署,很快就出结果了,聊天框哪里会显示deepseek-r1:32b模型

好了这就是ollama部署的整个deepseek的流程,是不是很简单。

.

相关推荐
弥金4 分钟前
LangChain基础
人工智能·后端
不摸鱼15 分钟前
创业找不到方向?不妨从行业卧底开始 | 不摸鱼的独立开发者日报(第66期)
人工智能·开源·资讯
ReinaXue15 分钟前
大模型【进阶】(五):低秩适配矩阵LORA的深度认识
人工智能·深度学习·神经网络·语言模型·自然语言处理·transformer
人生都在赌18 分钟前
AI Agent从工具到生态的秘密:我们踩过的坑和3个月实践教训
人工智能·ci/cd·devops
北极的树22 分钟前
大模型上下文工程之Prefix Caching技术详解
人工智能·ai编程
奇舞精选23 分钟前
prompt的参数调优入门指南 - 小白也能轻松掌握
人工智能·aigc
DisonTangor24 分钟前
商汤InternLM发布最先进的开源多模态推理模型——Intern-S1
人工智能·深度学习·开源·aigc
wayman_he_何大民24 分钟前
RAG系统架构:让AI学会"查资料"的魔法
人工智能
泽安AI研习社26 分钟前
Coze 开源了,送上保姆级私有化部署方案【建议收藏】
人工智能
阿鼎081526 分钟前
揭秘大语言模型:从文字到数字,token 是如何变成向量的?
人工智能·算法