【Ubuntu】本地部署Deep Seek(深度求索)大模型的保姆级教程 | 详细教程

杭州 ++++深度求索++++ 人工智能基础技术研究有限公司(简称"深度求索"或"DeepSeek"),成立于2023年,DeepSeek 是一家专注通用人工智能(AGI) 的中国 科技公司,主攻大模型研发与应用,经营范围包括技术服务、技术开发、软件开发等。DeepSeek-R1是其开源 的推理模型,擅长处理复杂任务且可免费 使用。支持联网搜索 和深度思考模式。

总结 :AI + 国产 + 免费 + 开源 + 强大

目录

[1 环境要求](#1 环境要求)

[■ OS](#■ OS)

[2 安装Ollama](#2 安装Ollama)

①安装

安装方式一

安装方式二

安装方式三

安装方式四

②验证

[3 下载并部署DeepSeek模型](#3 下载并部署DeepSeek模型)

①启动Ollama

②下载模型

③访问

[4 可视化](#4 可视化)

①下载

②添加执行权限

③运行

④设置

⑤交互



随着AI 的飞速发展,++++本地部署大模型++++ 的需求也日益增加。DeepSeek 大模型 作为一款开源 且性能强大 的大语言模型,提供了灵活的本地部署 方案。Deep Seek大模型的本地部署不仅提升了数据安全和隐私保护,还优化了性能、降低了长期成本,并提供了更高的自主性和法规遵从性。对于寻求更高控制权、更低延迟和更安全数据处理的企业和组织来说,本地部署是一个极具吸引力的选择。然而,这也要求组织具备相应的IT基础设施和运维能力,以确保部署的顺利进行和后续的维护。

综上,++++本地部署++++ 具有以下的优点:

① 数据安全与隐私保护

② 减少延迟和提高响应速度

③ 降低成本

④ 自主可控

⑤ 法规遵从

⑥ 高效利用资源

以下是详细的DeepSeek大模型本地部署的方法。

首先,需要说的是,小参数版本模型效果一般,如果真正落地部署应用的话,建议使用满血版本模型(671B版本)。

接下来,开始动手部署吧。

1 环境要求

■ OS

操作系统:Windows、macOS或Linux。

2 安装Ollama

Ollama 是一个开源的大型语言模型(LLM)推理服务器,为用户提供了灵活、安全和高性能的语言模型推理解决方案。

Ollama的主要特点是它能够运行多种类型的大型语言模型,包括但不限于Alpaca、Llama、Falcon、Mistral等,而无需将模型上传至服务器。这意味着用户可以直接在本地或私有云环境中运行这些模型,避免了数据传输带来的延迟和隐私问题。

①安装

安装方式一

访问官网Ollama,点击"Download"按钮。

全自动化脚本 ,要求网络状态良好。 使用如下命令安装。

下载与安装

复制代码
curl -fsSL https://ollama.com/install.sh | sh

安装方式二

分步安装,命令如下。

单独下载脚本

复制代码
curl -fsSL https://ollama.com/install.sh > install.sh

添加执行权限

复制代码
chmod +x install.sh

手动执行脚本

复制代码
./install.sh

【报错】 curl: (92) HTTP/2 stream 1 was not closed cleanly before end of the underlying stream

【报错】curl: (35) OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to github.com:443

上述报错的处理方法 可参考:【Ubuntu】安装和使用Ollama的报错处理集合-CSDN博客

安装方式三

通过lscpu查看架构。选择对应的安装包。

下载

打开https://github.com/ollama/ollama/releases/,下载ollama-linux-amd64.tgz到本地。

解压

复制代码
sudo tar -zxf ollama-linux-amd64.tgz -C /usr/local

解压成功后,在/usr/local中打开bin和lib文件夹会出现ollama相关的文件。

添加执行权限

复制代码
sudo chmod +x /usr/local/bin/ollama 

安装方式四

安装ModelScope

复制代码
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

下载

复制代码
modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.5.8

安装 ollama

复制代码
# 运行ollama安装脚本

cd ollama-linux

sudo chmod 777 ./ollama-modelscope-install.sh

./ollama-modelscope-install.sh

②验证

安装完成后,在终端输入以下命令,检查Ollama版本。

复制代码
ollama --version

如果能够正确输出版本号,则说明安装成功。

综上,建议使用安装方法四进行安装。

3 下载并部署DeepSeek模型

Ollama支持多种DeepSeek模型的版本,用户可以根据硬件配置选择合适的模型。

■ 入门级:1.5B版本,适合进行初步测试。

■ 中 级:7B或8B版本,适合大多数消费级GPU。

■ 高性能:14B、32B或70B版本,适合高端GPU。

注意:根据硬件配置选择合适的模型版本。较小的模型在标准硬件上表现良好,而较大的模型需要更强大的GPU支持;确保系统有足够的内存和存储空间,以避免运行时出现资源不足的问题。

①启动Ollama

在终端输入以下命令启动Ollama服务。

复制代码
ollama serve

# 或者

ollama start

②下载模型

Ollama官网搜索deepseek-r1,查看相关模型。

下载模型。

复制代码
ollama pull deepseek-r1:1.5b

下载其他的模型。

复制代码
ollama pull deepseek-r1:7b

ollama pull deepseek-r1:8b

ollama pull deepseek-r1:14b

ollama pull deepseek-r1:32b

ollama pull deepseek-r1:70b

ollama pull deepseek-r1:671b

另起一个窗口,在终端输入以下命令下载并运行DeepSeek模型。

复制代码
ollama run deepseek-r1:1.5b

通过ollama list命令可查看已经部署的模型。

通过ollama rm deepseek-r1:1.5b命令可以删除指定的模型。

③访问

通过访问 http://localhost:11434可 看到Ollama is running信息。

4 可视化

部署chatbox可以实现UI界面的本地大模型交互。

可视化工具Chatbox官网:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

①下载

点击上图中的下载按钮,下载Chatbox-1.9.8-x86_64.AppImage到本地。

②添加执行权限

cd 到Chatbox-1.9.8-x86_64.AppImage所在路径。

复制代码
chmod +x Chatbox-1.9.8-x86_64.AppImage

③运行

使用如下命令运行Chatbox。

复制代码
./Chatbox-1.9.8-x86_64.AppImage

运行成功后,界面如下图。

④设置

点击保存即可。

⑤交互

设置完成后,就可以进行正常的交互了。

如果在部署过程中遇到问题,在评论区留言说明,可以一起解决哈。

如果部署成功了,欢迎留言支持哈。

至此,本文的内容就结束了。

相关推荐
Qianxueban3 分钟前
如果卷积核大小固定,步长固定,那经过i次卷积,它一个像素的感受野是多大?
人工智能·深度学习·计算机视觉
longzhizhui9265 分钟前
Ubuntu 全版本 CVE-2026-98432 内核安全升级操作手册
ubuntu·网络安全·云计算·bash
拆房老料11 分钟前
DeepSeek Super-agent 架构解析:从单任务 Agent 到持续运行的任务系统
人工智能·设计模式·系统架构
民乐团扒谱机12 分钟前
【一文吃透】机器学习 Embedding 降维打击:从底层空间几何原理到 RAG 向量检索工程实战避坑
人工智能·机器学习·embedding
miaobinfei32 分钟前
docker拉取dify镜像,执行docker compose up -d 报错
运维·docker·容器
超级新零售41 分钟前
AI 零售软件是什么?从库存提醒到智能调货的系统分工
大数据·人工智能·零售
女神下凡1 小时前
芯参谋(85):Linux_PPI_NAND_驱动开发指南
linux·运维·arm开发·驱动开发·单片机·嵌入式硬件·设计规范
天远API1 小时前
零信任架构实战:基于天远租凭分期报告构建自动化智慧租房免押分期履约评估网关
运维·人工智能·架构·自动化
我要见SA姐11 小时前
Chrome 扩展安全攻防实录:从权限滥用到供应链投毒
运维·人工智能·python·机器学习·自动化
路上有只喵1 小时前
认识元器件 · 单片机(MCU/MPU/SOC) · 实战篇9
人工智能·语音识别