Ollama+DeepSeek本地化环境搭建

从过年期间开始，DeepSeek可谓是风头无两，火遍全网，直接把美股都干掉了万亿。那么DeepSeek到底是什么东西呢？

DeepSeek本质上是一个大语言模型，类似于Chatgpt等模型，是由杭州深度求索人工智能基础技术研究有限公司推出的一系列人工智能模型，涵盖语言、数学、视觉、语言等多个领域，为用户提供智能对话、文本生成、代码编写等多种服务。目前主要有DeepSeek-V3和DeepSeek-R1两个版本。

对比OpenAI系列的大模型，DeepSeek的显著优势在于：

价格低廉：

DeepSeek 在实现与 OpenAI 的 GPT-4o、Meta 的 Llama 3.1 以及 Anthropic 的 Claude 3.5 Sonnet 等顶尖模型相当的性能时，成本却低得多。据报道，DeepSeek 训练 DeepSeek-R1 的预算仅为 560 万美元，远低于竞争对手动辄数亿美元的投入。

开源策略：

部分模型开源，如 DeepSeek-MoE，允许开发者免费获取模型权重，可在本地或云端部署，便于企业或个人进行定制化应用开发，能够加速技术迭代，促进社区共建。

中文优势：

DeepSeek训练侧重中文高质量数据，对中文语义、文化语境的理解更精准，在处理成语、方言、行业术语等方面表现出色，能更好地满足中文用户的需求。由于是国产的大模型，所以比较符合国内的内容安全要求，如进行敏感词过滤、价值观对齐等，生成内容更贴合中国的文化和政策环境。

目前，可以直接访问DeepSeek的网站来访问和使用DeepSeek服务，不过我们也可以将DeepSeek模型部署到本地来进行使用。部署到本地后，优点是更便于自己调用，可以通过程序编写来定制化回答的结果，实现RAG知识库的构建，并且由于是在本地的大模型，所以安全方面也是比较可靠的，可以上传一些比较私密的信息。

下面我们来看一下如何在本地部署DeepSeek模型。

我采用的是在ollama来部署本地大模型。Ollama 是一个开源的、易于使用的本地大语言模型（LLM）运行框架，由美国旧金山的一家同名初创公司开发，于 2024 年 11 月公开推出。它让用户能在本地设备上轻松下载和运行各种大型语言模型，具有以下特点和功能：

部署便捷：无需复杂的设置，用户在 Mac、Linux 或 Windows 系统上，通过简单的命令就能快速安装 Ollama，随后方便地下载和管理不同的大语言模型，像在命令行输入 "ollama run llama2" 即可快速启动 Llama 2 模型。
模型库丰富：支持一系列主流开源模型，包括但不限于 Llama 2、Mistral、Falcon 等，还不断添加新模型。用户可依自身需求，如文本生成、对话、代码编写等，选择合适模型。
性能高效：经优化，能在消费级 GPU 及 CPU 上高效运行。它利用量化技术，减少模型内存需求，使低配置设备也能流畅运行大型模型。比如在配备 NVIDIA GeForce RTX 3060 GPU 的电脑上，能快速生成文本。
交互方式多样：提供命令行界面，用户直接在终端输入提示词与模型交互，也支持通过 API 与其他应用集成，便于开发者在自身项目里嵌入 Ollama 功能，实现个性化开发。
社区支持：活跃的开源社区，开发者和用户积极贡献代码、分享使用经验、提供改进建议。社区推动 Ollama 不断完善，还催生了众多相关工具和扩展。

一、安装Ollama软件。

打开Ollama官网：https://ollama.com，可以看到目前已经支持DeepSeek-R1模型了。

如果是Windows和mac系统的话，直接下载并安装即可。

如果是Linux系统的话，执行如下命令来进行下载并安装：

bash 复制代码

curl -fsSL https://ollama.com/install.sh | sh

安装后，要选择一个ollama的大模型下载目录，Windows的默认下载目录是：C:\Users\\.ollama\models，因为C盘是系统盘，如果空间不够大的话，我们可以自己定义一个大模型的存放路径。

Linux也一样，需要修改一下大模型的下载路径：

bash 复制代码

# 执行命令
vim ~/.bashrc
# 配置 OLLAMA_MODELS 环境变量自定义路径
export OLLAMA_MODELS=/home/yjs/ollama/ollama_cache

执行好之后，我们打开命令行窗口：

如果看到ollama的版本正常输出了，说明安装成功了。接着我们可以搜索并下载需要的大模型：

可以看到，这里的deepseek-r1大模型是深度求索公司推出的第一代推理模型，性能可以与OpenAI-o1相媲美，它是基于Llama和通义千问从DeepSeek-R1大模型蒸馏出来的。因为真正的DeepSeek大模型我们自己的家用电脑上是跑不起来的，不过这个模型对我们普通人来说也够用了。我选择了默认的7b模型，大约4.7G。安装的时候，只要在命令行内输入：ollama run deepseek-r1即可。ollama会自动下载，并存储到我们之前指定的模型存储目录。

可以看到，我们现在有两个大模型，一个通义千问，一个就是deepseek-r1。

通过执行：ollama run deepseek-r1:7b即可运行deepseek-r1模型：

下面让我来尝试问个问题，让deepseek自己来评价一下工作后玩游戏的利弊。

可以看到，DeepSeek在节点内部进行了思考，而且回答的还是比较全面的，返回的是markdown格式文本，如果用Typora等软件打开，界面会更加美观：

当然，我们也可以把deepseek模型通过webui等可视化界面展示出来，比如我之前的文章《使用Ollama搭建自己的简单知识库》中提到的使用MaxKb来调用大模型。

之后就可以在MaxKb中直接调用deepseek-r1来进行测试了。

虽然回答过程中偶尔还会出现错字或不知所谓的英文，但总体上还是问题不大的：）