三步本地部署大模型deep seek

扎Zn了老Fe2025-04-28 10:37

最近两年是大模型的爆发期，从chatgpt3推出，其强大的推理能力远超时人们的预期。25年1月国内deepseek上线，在推理、自然语言理解与生成、图像与视频分析、语音识别与合成、个性化推荐、大数据处理与分析、跨模态学习以及实时交互与响应等八大领域表现出色。本文只需要三步实现一个本地可用的大模型。

下载ollama

ollama是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计，并且支持多种操作系统，包括 macOS、Windows、Linux 以及通过 Docker 容器运行。借助Ollama平台，用户能够轻松地在本地运行、管理和与大型语言模型进行交互。我们使用Ollama来部署大模型，能够大大简化简化部署操作。

打开：ollma主页，根据自己的操作系统下载对应的版本, 按照指示安装即可。

下载模型

打开模型列表，里面有各种大模型，比如Llama、Gemma以及最新的deepseek-r1模型。本文选择最近比较火的deepseek-r1为例，里面有蒸馏后不同参数数量的版本，以7b为例，参数规模达到了70亿，模型大小为4.7GB。

打开终端输入以下命令安装大模型并自动启动。

arduino 复制代码

 / %ollama run deepseek-r1:7b

安装完成后看到如下提示，说明安装成功了，在终端能够交互式对话。

安装谷歌浏览器插件page Assist

使用终端交互还是不太方便，这里更加推荐使用谷歌浏览器插件。直接打开谷歌插件商店，搜索进行安装。当然，也支持本地插件安装，文末有网盘备份。

到这里就能够在本地玩大模型了。不过，受限于本地内存限制，本地效果对于满血版差太远了，就当个聊天助手来玩吧。不用的时候最好关掉，占着好几个G的内存，在终端使用ollama命令进行关闭。

erlang 复制代码

hzjdemac@Mac-mini / % ollama ps

NAME              ID              SIZE      PROCESSOR    UNTIL              

deepseek-r1:7b    0a8c26691023    6.0 GB    100% GPU     4 minutes from now    

hzjdemac@Mac-mini / % ollama stop deepseek-r1:7b

更多ollama命令，使用ollama --help查看。

附件： Ollamah和pageassist百度网盘地址

参考： cloud.tencent.com/developer/a... www.runoob.com/ollama/olla...