本地搭建Ollama运行各种平台的大模型(deepseek),配合AnythingLLM-UI界面使用

Ollama官网

window版Ollama下载,也有ios的、linux版本的,如下图所示

Download Ollama on Windows1、Download Ollama on Windows,下载windows版

下载的时间比较久,1个多G,挂着就行、下载后直接运行双击程序,我C盘够大,我安装c盘的,后面的模型也是安装在C盘,C盘不够的可以安装在其它盘,后续可能会用到5G的存储

2、下载ollama上的不同的大模型

2.1下载阿里的千问模型

cmd执行命令 相关的命令,安装后面的步骤来,只写了deepseek模型的步骤

2.2下载deepseek的模型

进入Ollama Search官网下载不同平台的模型

这里我们选择deepseek-r1的1.5B,复制下图的命令

我这里下载了三个大模型,都试着运行是ok的,实际上本地只有下载其中一个就可以了

2.3、下载deepseek1.5B,跟据个人电脑安装,我的显卡是1050的2G,只能跑个1.5B的,不具备推理能力,只能简单问答,A卡20系列以上8G以上显存的可以试下7B,40系列以上12G显卡可以跑14B,32B的要24G

cmd命令输入你下载的模型命令ollama run deepseek-r1:1.5b启动,

也可以将次命令输入文本,文本名改成.bat结尾.直接双击运行即可得到界面,第一次运行会自动下载模型自动运行的。

2.4、至此命令版本地版deepseek1.5B的部署完成

2.5如果想要界面的下载UI ---AnythingLLM,需要安装node.js和python环境,自行下载安装

也是三个操作系统的版本,这里我选择windows版本

Download AnythingLLM for Desktop

下载完成后直接双击运行安装,选择我们的ollama和对应的模型创建个人空间进行聊天

界面版的1.5B的和正常网页版的相差挺大的

同样的问题问了网页版的deepseek、,回答更全面

ANything UI,在下面的设置里面切换模型,自己的个人空间切换对应的模型、可以使用任意自己部署的大模型平台

什么是 AnythingLLM ~ AnythingLLM

可以使用AnythingLLM搭建自己的知识库,这个是使用手册,需要下载AnythingLLM才能打开,有语言设置,可以设置中文的

什么是 AnythingLLM ~ AnythingLLM,后续更新使用方法

可以会遇到打开不了AnythingLLM的情况,这个时候是因为后台挂这他的任务,直接关掉页面进程可能杀不死,需要重启,或者你找出进程杀掉

相关推荐
OPEN-Source9 小时前
大模型实战:把自定义 Agent 封装成一个 HTTP 服务
人工智能·agent·deepseek
大模型真好玩9 小时前
中美大模型“内战”都怎么打!一文详解Claude Opus 4.6和GPT-5.3 CodeX核心特性
人工智能·agent·deepseek
神云瑟瑟19 小时前
spring ai对接deepseek
spring ai·deepseek
AC赳赳老秦1 天前
2026国产算力新周期:DeepSeek实战适配英伟达H200,引领大模型训练效率跃升
大数据·前端·人工智能·算法·tidb·memcache·deepseek
OPEN-Source1 天前
大模型实战:搭建一张“看得懂”的大模型应用可观测看板
人工智能·python·langchain·rag·deepseek
AC赳赳老秦2 天前
代码生成超越 GPT-4:DeepSeek-V4 编程任务实战与 2026 开发者效率提升指南
数据库·数据仓库·人工智能·科技·rabbitmq·memcache·deepseek
小白狮ww2 天前
要给 OCR 装个脑子吗?DeepSeek-OCR 2 让文档不再只是扫描
人工智能·深度学习·机器学习·ocr·cpu·gpu·deepseek
realhuizhu3 天前
为什么程序员配出的颜色像"斑斓的灰"?因为你还在靠直觉
前端开发·ai工具·ui设计·deepseek·程序员提升
逐梦苍穹3 天前
速通DeepSeek论文mHC:给大模型装上物理阀门的架构革命
人工智能·deepseek·mhc
realhuizhu5 天前
你有多少次对着设计稿说"感觉不对,但说不上来"?
提示词工程·设计效率·deepseek·ai设计工具·品牌logo