Ollama部署本地大模型

前言

笔者本人PC的系统为windows 11,以下操作均是基于该系统。

电脑配置:CPU Intel i5 12600KF、内存 DDR5 32GB、显卡 NVIDIA GeForce RTX 4060 Ti 8GB。

部分内容由 AI 生成

简介

Ollama 如同 Docker 将应用打包成"集装箱",Ollama 将大型语言模型做成即插即用的模型容器

同类型工具,如下表所示:

工具名称 核心优势 适用场景 是否开源 内存占用示例
Ollama Docker化部署,一键启动 快速原型开发 7B模型≈5GB
LM Studio 开箱即用GUI界面 非技术用户体验 7B模型≈6GB
GPT4All CPU模式性能优化 老旧设备救星 7B模型≈4GB
text-generation-webui 超强自定义插件系统 极客玩家的实验室 取决于加载方式
HuggingFace TGI 工业级推理性能 生产环境部署 需要GPU显存支撑
vLLM Attention算法优化大师 学术研究基准测试 极致显存优化

Ollama 安装步骤

Step 1: 环境变量配置

为了不装 C 盘,必须在安装 Ollama 之前配置好环境变量。

Windows 的 系统环境变量增加如下配置即可:

sh 复制代码
# 环境变量名称
OLLAMA_MODELS
# 环境变量值,就是路径按照自己的实际情况配置即可
D:\ollama

Step 2:下载并安装

Ollama 官网 直接下载与系统匹配的安装包。同样放入 D:\ollama,然后执行下面的命令:

sh 复制代码
cd D:\ollama

.\OllamaSetup.exe /dir=d:\ollama

然后傻瓜式安装就行了,安装完之后会自动运行。

关闭之前的命令行窗口,重新开一个。

sh 复制代码
# 查看版本
ollama -v

# 查看命令帮助
ollama -h

Step 3: 下载并运行模型

进入 Ollama 的 Models 页面,选择你想部署的大模型,比如:我想部署 deepseek,那么我就找到并选择想要的模型规模,我选择的是7b。我可以使用以下命令去下载和运行该模型。

sh 复制代码
# 下载
ollama pull deepseek-r1:7b
# 运行
ollama run deepseek-r1:7b

执行完,我们就可以在命令窗里面直接对话了,然后你就可以看到你的显存直接"起飞"了。

对话可以通过 Ctrl+D 或者输入 /bye 退出,再次执行运行命令可以重新进入窗口对话。

Open Webui 安装步骤

前面我们安装了 Ollama,但是目前只能是在命令行中去交互,这看上去就很不界面友好,所以我们可以安装一个 Ollama 配套的 Web 客户端,也就是 Open Webui。我用的是 docker 的方式安装。

Step 1:安装Docker

如果已经有 Docker 了,可以跳过这一步,如果没有直接 docker 官网下载安装包,几乎都是傻瓜式安装,略过。

Step 2:安装 Open Webui

直接运行如下命令就可以下载并运行了,下面的 3000 是我映射到我主机的端口,这个可以根据自己电脑的情况来配置。

sh 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

然后,访问 http://localhost:3000 就可以看到 Web 页面了。创建的第一个用户就是管理员。

如果不想安装 Open Webui 也可以安装一个 Cherry Studio 这样的工具来连接我们本地的 Ollama。

相关推荐
星期天要睡觉5 分钟前
什么是提示词(Prompt),提示词类型、结构解析
人工智能·语言模型
深度学习lover13 分钟前
<数据集>yolo煤矿安全帽识别数据集<目标检测>
人工智能·python·深度学习·yolo·目标检测·计算机视觉·煤矿安全帽识别
前端双越老师22 分钟前
建议应届毕业生不要再做前端开发了
人工智能·面试·ai编程
aneasystone本尊26 分钟前
学习 Dify 的工具系统
人工智能
nju_spy31 分钟前
牛客网 AI题(二)机器学习 + 深度学习
人工智能·机器学习·笔试·tf-idf·pca·位置编码·k-means
周杰伦_Jay36 分钟前
【Mac下通过Brew安装Ollama 】部署 DeepSeek 轻量模型(实测版)
人工智能·macos·数据挖掘·database·1024程序员节
北青网快讯38 分钟前
CDN5上线AI智能防御系统,为香港CDN加速服务注入新一代安全与智能动力
人工智能·安全
IT_陈寒39 分钟前
Python 3.12震撼发布:5大性能优化让你的代码提速50%,第3点太香了!
前端·人工智能·后端
恋猫de小郭1 小时前
今年各大厂都在跟进的智能眼镜是什么?为什么它突然就成为热点之一?它是否是机会?
android·前端·人工智能
l1t1 小时前
利用DeepSeek改写递归CTE SQL语句为Python程序及优化
数据库·人工智能·python·sql·算法·性能优化·deepseek