【Ubuntu】本地部署Deep Seek(深度求索)大模型的保姆级教程 | 详细教程

杭州 ++++深度求索++++ 人工智能基础技术研究有限公司(简称"深度求索"或"DeepSeek"),成立于2023年,DeepSeek 是一家专注通用人工智能(AGI)中国 科技公司,主攻大模型研发与应用,经营范围包括技术服务、技术开发、软件开发等。DeepSeek-R1是其开源 的推理模型,擅长处理复杂任务且可免费 使用。支持联网搜索深度思考模式。

总结AI + 国产 + 免费 + 开源 + 强大

目录

[1 环境要求](#1 环境要求)

[■ OS](#■ OS)

[2 安装Ollama](#2 安装Ollama)

①安装

安装方式一

安装方式二

安装方式三

安装方式四

②验证

[3 下载并部署DeepSeek模型](#3 下载并部署DeepSeek模型)

①启动Ollama

②下载模型

③访问

[4 可视化](#4 可视化)

①下载

②添加执行权限

③运行

④设置

⑤交互



随着AI 的飞速发展,++++本地部署大模型++++ 的需求也日益增加。DeepSeek 大模型 作为一款开源性能强大 的大语言模型,提供了灵活的本地部署 方案。Deep Seek大模型的本地部署不仅提升了数据安全和隐私保护,还优化了性能、降低了长期成本,并提供了更高的自主性和法规遵从性。对于寻求更高控制权、更低延迟和更安全数据处理的企业和组织来说,本地部署是一个极具吸引力的选择。然而,这也要求组织具备相应的IT基础设施和运维能力,以确保部署的顺利进行和后续的维护。

综上,++++本地部署++++ 具有以下的优点

数据安全与隐私保护

减少延迟和提高响应速度

降低成本

自主可控

法规遵从

高效利用资源

以下是详细的DeepSeek大模型本地部署的方法。

首先,需要说的是,小参数版本模型效果一般,如果真正落地部署应用的话,建议使用满血版本模型(671B版本)

接下来,开始动手部署吧。

1 环境要求

■ OS

操作系统:Windows、macOS或Linux

2 安装Ollama

Ollama 是一个开源的大型语言模型(LLM)推理服务器,为用户提供了灵活、安全和高性能的语言模型推理解决方案。

Ollama的主要特点是它能够运行多种类型的大型语言模型,包括但不限于Alpaca、Llama、Falcon、Mistral等,而无需将模型上传至服务器。这意味着用户可以直接在本地或私有云环境中运行这些模型,避免了数据传输带来的延迟和隐私问题。

①安装

安装方式一

访问官网Ollama,点击"Download"按钮。

全自动化脚本 ,要求网络状态良好。 使用如下命令安装。

下载与安装

复制代码
curl -fsSL https://ollama.com/install.sh | sh

安装方式二

分步安装,命令如下。

单独下载脚本

复制代码
curl -fsSL https://ollama.com/install.sh > install.sh

添加执行权限

复制代码
chmod +x install.sh

手动执行脚本

复制代码
./install.sh

【报错】 curl: (92) HTTP/2 stream 1 was not closed cleanly before end of the underlying stream

【报错】curl: (35) OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to github.com:443

上述报错的处理方法 可参考:【Ubuntu】安装和使用Ollama的报错处理集合-CSDN博客

安装方式三

通过lscpu查看架构。选择对应的安装包。

下载

打开https://github.com/ollama/ollama/releases/,下载ollama-linux-amd64.tgz到本地。

解压

复制代码
sudo tar -zxf ollama-linux-amd64.tgz -C /usr/local

解压成功后,在/usr/local中打开bin和lib文件夹会出现ollama相关的文件。

添加执行权限

复制代码
sudo chmod +x /usr/local/bin/ollama 

安装方式四

安装ModelScope

复制代码
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

下载

复制代码
modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.5.8

安装 ollama

复制代码
# 运行ollama安装脚本

cd ollama-linux

sudo chmod 777 ./ollama-modelscope-install.sh

./ollama-modelscope-install.sh

②验证

安装完成后,在终端输入以下命令,检查Ollama版本。

复制代码
ollama --version

如果能够正确输出版本号,则说明安装成功。

综上,建议使用安装方法四进行安装。

3 下载并部署DeepSeek模型

Ollama支持多种DeepSeek模型的版本,用户可以根据硬件配置选择合适的模型。

入门级:1.5B版本,适合进行初步测试。

:7B或8B版本,适合大多数消费级GPU。

高性能:14B、32B或70B版本,适合高端GPU。

注意:根据硬件配置选择合适的模型版本。较小的模型在标准硬件上表现良好,而较大的模型需要更强大的GPU支持;确保系统有足够的内存和存储空间,以避免运行时出现资源不足的问题。

①启动Ollama

在终端输入以下命令启动Ollama服务。

复制代码
ollama serve

# 或者

ollama start

②下载模型

Ollama官网搜索deepseek-r1,查看相关模型。

下载模型。

复制代码
ollama pull deepseek-r1:1.5b

下载其他的模型。

复制代码
ollama pull deepseek-r1:7b

ollama pull deepseek-r1:8b

ollama pull deepseek-r1:14b

ollama pull deepseek-r1:32b

ollama pull deepseek-r1:70b

ollama pull deepseek-r1:671b

另起一个窗口,在终端输入以下命令下载并运行DeepSeek模型。

复制代码
ollama run deepseek-r1:1.5b

通过ollama list命令可查看已经部署的模型。

通过ollama rm deepseek-r1:1.5b命令可以删除指定的模型。

③访问

通过访问 http://localhost:11434 看到Ollama is running信息。

4 可视化

部署chatbox可以实现UI界面的本地大模型交互。

可视化工具Chatbox官网:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

①下载

点击上图中的下载按钮,下载Chatbox-1.9.8-x86_64.AppImage到本地。

②添加执行权限

cd 到Chatbox-1.9.8-x86_64.AppImage所在路径。

复制代码
chmod +x Chatbox-1.9.8-x86_64.AppImage

③运行

使用如下命令运行Chatbox。

复制代码
./Chatbox-1.9.8-x86_64.AppImage

运行成功后,界面如下图。

④设置

点击保存即可。

⑤交互

设置完成后,就可以进行正常的交互了。

如果在部署过程中遇到问题,在评论区留言说明,可以一起解决哈。

如果部署成功了,欢迎留言支持哈。

至此,本文的内容就结束了。

相关推荐
100编程朱老师1 分钟前
Opencv 图像读取与保存问题
人工智能·opencv·计算机视觉
Ztop1 分钟前
注意!ChatGPT 全新 AI 图像功能延迟对免费用户开放
人工智能·chatgpt
色空大师7 分钟前
【linux】常用命令
linux·运维·服务器
VermouthSp12 分钟前
Linux驱动开发 中断处理
linux
zhou周大哥21 分钟前
轮循取值算法数据库
linux·windows·microsoft
塞大花22 分钟前
微软 GraphRAG 项目学习总结
人工智能·microsoft·语言模型·大语言模型·rag·knowledge graph·graphrag
wei_shuo27 分钟前
DeepSeek-R1 现已在 Amazon Bedrock 中作为完全托管的无服务器模型推出
人工智能·amazon
蓁蓁啊33 分钟前
whole-archive与gc-sections
linux·c语言·stm32·单片机·嵌入式硬件
WHATEVER_LEO35 分钟前
【每日论文】DINeMo: Learning Neural Mesh Models with no 3D Annotations
人工智能·深度学习·神经网络·计算机视觉·3d·自然语言处理
潇湘馆记43 分钟前
PyTorch optim包简介
人工智能·pytorch·python