告别联网限制与隐私担忧：在自家电脑跑一个专属的DeepSeek AI

很多人不明白本地部署AI大模型的意思，今天我就用通俗易懂的语言给大家讲一讲。说白了就是把原本在别人服务器（电脑里）里的 AI 大模型，安装在你自己的电脑设备上运行，全程不用连外网、不用依赖别人的电脑服务，所有的 AI 计算、数据处理都在你自己的设备里完成。

如果你使用别人的云端AI服务，那么大概的访问过程是这样的：

如果你在自己的个人电脑上部署AI模型，大概的访问过程是这样的：

那么，在自己本地个人电脑上部署AI大模型有什么好处呢？核心原因有那么几个：

1、不用连外网，断网也能正常用AI

2、你的所有提问、数据都留在自己设备里，不会传到外部，隐私和数据安全更有保障

3、用的时候不受云端的调用次数、限速、付费限制，自己的设备性能够，就能随便用

4、不受官方网站的内容相关限制

个人认为第2、4点显得尤为重要。

接下来，就带大家在本地电脑部署一个AI大模型DeepSeek-R1-Distill-Qwen-7B，但是请注意，不是所有人的电脑都可以部署成功的，因为AI大模型的部署本身对硬件要求较高，在这里，我已经是选择了一个轻量模型了，只有7B（70亿）的参数量，可以把参数理解成是模型在学习海量数据后记住的、用来完成理解和生成任务的海量"知识和规则小结论"。大模型的参数，就像小学生背的乘法口诀表，是模型学出来的"答题小公式"，越多公式，能解的题就越多越准。

具体而言，我部署的环境是：内存 32G、固态硬盘 50G、CPU AMD Ryzen 9 8945HX with Radeon Graphics 32核、显存 NVIDlA GeForce RTX 5060 Laptop GPU 8GB。

接下来，开始带大家进行大模型本地化部署：

一、下载大模型相关的文件（你可以理解成就是下载软件，把它下载下来安装）

我自己的话是去魔搭社区（ModelScope）下载的，它里面有很多很多的AI开源大模型，选中自己想要的模型，下载到本地即可。

给大家做一些小扩展，魔搭社区（ModelScope）是阿里做的国内AI模型平台，Hugging Face（抱脸）是国外的全球AI模型第一平台，Hugging Face也是一个AI模型平台，虽然AI模型最全，但是在国内用着非常费劲，大概率连不上（你懂的）。

点击该模型，进入相应的页面进行下载

我使用的是命令行下载的方式，前提是本机电脑要安装python环境（我自己电脑的python环境是Python 3.10.2），大家如果要安装包，后台私信666，部署所用到的相关软件都可以免费获取到。

安装好python环境之后，打开命令行，输入

（1）安装modelscope工具包，它是连接你的电脑和魔搭社区的桥梁，装了这个包，你才能用简单的代码从魔搭下载大模型。

bash 复制代码

pip install modelscope

（2）下载完整模型库

bash 复制代码

modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B

下载过程是这样的，慢慢等待，不要心急

下载完成之后，默认会下载到这个位置，整个模型文件夹大概14G，到时候你可以把它移动到其它可用空间较大的磁盘，如果你C盘够用，不挪动也可以。

bash 复制代码

C:\Users\你的用户名\.cache\modelscope\hub\deepseek-ai\DeepSeek-R1-Distill-Qwen-7B

二、安装LM Studio模型管理软件

LM Studio就是个装在电脑上的"本地大模型工具箱" 桌面软件，Windows/macOS/Linux都能用，不用复杂编程，像用普通聊天软件一样，可以在自己电脑上离线跑Qwen、DeepSeek 等开源大模型。

由于网络问题，你可能下载不到相关的安装包，没关系，后台666私信我获取所有软件。

点击安装包，直接傻瓜式安装，一路下一步，没什么需要特别注意的。安装完成之后，打开界面是这样的

三、使用LM Studio识别下载好的模型文件夹

我在这一步浪费了很多时间，很多bug，你不要担心，错误我已经全部帮你试完了，你照做就好了。

（1）点击左侧菜单栏的My Models

（2）找到你模型的存放路径，我已经移动到D盘了，具体路径为D:\software\models，因此我需要找到这个文件夹。

DeepSeek-R1-Distill-Qwen-7B是下载后的模型文件夹

（3）此时，你会感到非常迷茫，不是已经选中了模型文件夹所在的父级目录了吗？怎么在My Models中没有识别到模型呢？一脸懵逼了你是。

注意啊，注意啊，模型文件夹需要套两层目录，这是什么意思呢？现在模型文件夹不是在D:\software\models目录吗，但是你还需要在这个目录中再创建一个目录，把模型文件夹放到你新建的这个目录里面，你问我为什么，我也不知道，可能是LM Studio这个管理工具本身要求的吧。

我的设置如下图所示，在D:\software\models目录下新建了一个DS7（名字自己随便取）的文件夹，然后再把模型文件夹放到里面去，然后你就会看到LM Studio中已经把DeepSeek-R1-Distill-Qwen-7B这个大模型识别出来了。

四、加载模型，为下一步使用模型做准备

LM Studio能够识别模型之后，接下来就是加载模型了，点击左侧菜单栏的Chat按钮。

新建一个聊天

选中一个模型进行加载

发现，加载模型失败，这个Bug我也是找了好久啊，为什么你们知道吗？LM Studio不支持safetensors的模型文件。

LM Studio支持GGUF模型文件，于是就想办法把safetensors文件转换为GGUF模型文件，具体步骤如下：

（1）从github下载llama.cpp库，我是直接登录到github网站上下载压缩包的（你可能无法访问网站，但是没关系，后台回复666）

（2）解压llama.cpp-master.zip压缩包

（3）用管理员身份打开命令行窗口，进入到llama.cpp-master文件夹，可以先复制一下该文件夹路径，然后在命令行输入命令进入即

bash 复制代码

cd C:\Users\lxx_x\Downloads\llama.cpp-master

（4）在命令行窗口（就是上面的黑窗口）执行命令

bash 复制代码

pip install -r requirements.txt

（5）输入模型文件转换命令，该命令的意思为要把D:\software\models\DS7\DeepSeek-R1-Distill-Qwen-7B该模型文件夹中的safetensors文件转换为GGUF模型文件，转换后的文件放到D:\software\models目录中。

bash 复制代码

python convert_hf_to_gguf.py D:\software\models\DS7\DeepSeek-R1-Distill-Qwen-7B --outfile D:\software\models\

转换过程如下图所示

（6）找到刚刚指定的GGUF文件输出目录，查看是否转换成功

（7）打开LM Studio，识别GGUF文件，记得把GGUF文件放到双层目录里面，LM Studio才能识别，在这里我是这样的

LM Studio识别成功

（8）打开刚刚的聊天窗口，选择模型加载

选择之后，直接点击加载模型

然后就部署成功了，但是电脑会变得卡顿

五、提问

有些问题，直接使用官网的AI模型，它是不会回答的，但是如果你使用本地部署的模型，那么内容是不会做限制的，如下图所示

六、使用完毕之后，从内存中卸载模型

至此为止，本地化大模型就部署完成了~可以跟着从头到尾实操一遍，很多你看起来好像很简单的过程，在每个人的电脑上都会有不同的表现，可能会产生很多不同的问题。

记得哦，若要获取所有的工具，请后台私信666，一键获取所有软件安装包。