本地搭建Ollama运行各种平台的大模型（deepseek），配合AnythingLLM-UI界面使用

麻花20132025-03-03 12:17

window版Ollama下载，也有ios的、linux版本的，如下图所示

下载的时间比较久，1个多G，挂着就行、下载后直接运行双击程序，我C盘够大，我安装c盘的，后面的模型也是安装在C盘，C盘不够的可以安装在其它盘，后续可能会用到5G的存储

2、下载ollama上的不同的大模型

2.1下载阿里的千问模型

cmd执行命令相关的命令，安装后面的步骤来，只写了deepseek模型的步骤

2.2下载deepseek的模型

进入Ollama Search官网下载不同平台的模型

这里我们选择deepseek-r1的1.5B，复制下图的命令

我这里下载了三个大模型，都试着运行是ok的，实际上本地只有下载其中一个就可以了

2.3、下载deepseek1.5B，跟据个人电脑安装，我的显卡是1050的2G，只能跑个1.5B的，不具备推理能力，只能简单问答，A卡20系列以上8G以上显存的可以试下7B，40系列以上12G显卡可以跑14B，32B的要24G

cmd命令输入你下载的模型命令ollama run deepseek-r1:1.5b启动，

也可以将次命令输入文本，文本名改成.bat结尾.直接双击运行即可得到界面，第一次运行会自动下载模型自动运行的。

2.4、至此命令版本地版deepseek1.5B的部署完成

2.5如果想要界面的下载UI ---AnythingLLM，需要安装node.js和python环境，自行下载安装

也是三个操作系统的版本，这里我选择windows版本

下载完成后直接双击运行安装，选择我们的ollama和对应的模型创建个人空间进行聊天

界面版的1.5B的和正常网页版的相差挺大的

同样的问题问了网页版的deepseek、，回答更全面

ANything UI，在下面的设置里面切换模型，自己的个人空间切换对应的模型、可以使用任意自己部署的大模型平台

可以使用AnythingLLM搭建自己的知识库，这个是使用手册，需要下载AnythingLLM才能打开，有语言设置，可以设置中文的

可以会遇到打开不了AnythingLLM的情况，这个时候是因为后台挂这他的任务，直接关掉页面进程可能杀不死，需要重启，或者你找出进程杀掉