ollama 本都部署模型
ollama 是什么
ollama 是一个开源的运行大模型的框架,可以让我们在不依赖GPU的情况下运行模型
运行ollama
有两种方式,第一个官网下载安装包 linux/macos/windows 都有

第二种就是通过docker 方式运行 ,官方镜像
拉取命令 docker pull ollama/ollama
我们直接下载安装包运行即可

下载运行模型
在官网搜索你想运行的模型,这里使用deepseek
我电脑内存32G,运行一个 7b的,跑起来还可以,很流畅
找到模型,点进去详细页,复制这条命令即可运行

运行效果如下:直接控制台输入

接入ui界面
这里选择 open-web-ui ,直接使用docker 运行 ,
docker pull openwebui/open-webui
docker run open-webui
运行起来之后访问 localhost:3000 端口

选择模型就可以开始聊天了

