Ollama部署本地大模型

前言

笔者本人PC的系统为windows 11,以下操作均是基于该系统。

电脑配置:CPU Intel i5 12600KF、内存 DDR5 32GB、显卡 NVIDIA GeForce RTX 4060 Ti 8GB。

部分内容由 AI 生成

简介

Ollama 如同 Docker 将应用打包成"集装箱",Ollama 将大型语言模型做成即插即用的模型容器

同类型工具,如下表所示:

工具名称 核心优势 适用场景 是否开源 内存占用示例
Ollama Docker化部署,一键启动 快速原型开发 7B模型≈5GB
LM Studio 开箱即用GUI界面 非技术用户体验 7B模型≈6GB
GPT4All CPU模式性能优化 老旧设备救星 7B模型≈4GB
text-generation-webui 超强自定义插件系统 极客玩家的实验室 取决于加载方式
HuggingFace TGI 工业级推理性能 生产环境部署 需要GPU显存支撑
vLLM Attention算法优化大师 学术研究基准测试 极致显存优化

Ollama 安装步骤

Step 1: 环境变量配置

为了不装 C 盘,必须在安装 Ollama 之前配置好环境变量。

Windows 的 系统环境变量增加如下配置即可:

sh 复制代码
# 环境变量名称
OLLAMA_MODELS
# 环境变量值,就是路径按照自己的实际情况配置即可
D:\ollama

Step 2:下载并安装

Ollama 官网 直接下载与系统匹配的安装包。同样放入 D:\ollama,然后执行下面的命令:

sh 复制代码
cd D:\ollama

.\OllamaSetup.exe /dir=d:\ollama

然后傻瓜式安装就行了,安装完之后会自动运行。

关闭之前的命令行窗口,重新开一个。

sh 复制代码
# 查看版本
ollama -v

# 查看命令帮助
ollama -h

Step 3: 下载并运行模型

进入 Ollama 的 Models 页面,选择你想部署的大模型,比如:我想部署 deepseek,那么我就找到并选择想要的模型规模,我选择的是7b。我可以使用以下命令去下载和运行该模型。

sh 复制代码
# 下载
ollama pull deepseek-r1:7b
# 运行
ollama run deepseek-r1:7b

执行完,我们就可以在命令窗里面直接对话了,然后你就可以看到你的显存直接"起飞"了。

对话可以通过 Ctrl+D 或者输入 /bye 退出,再次执行运行命令可以重新进入窗口对话。

Open Webui 安装步骤

前面我们安装了 Ollama,但是目前只能是在命令行中去交互,这看上去就很不界面友好,所以我们可以安装一个 Ollama 配套的 Web 客户端,也就是 Open Webui。我用的是 docker 的方式安装。

Step 1:安装Docker

如果已经有 Docker 了,可以跳过这一步,如果没有直接 docker 官网下载安装包,几乎都是傻瓜式安装,略过。

Step 2:安装 Open Webui

直接运行如下命令就可以下载并运行了,下面的 3000 是我映射到我主机的端口,这个可以根据自己电脑的情况来配置。

sh 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

然后,访问 http://localhost:3000 就可以看到 Web 页面了。创建的第一个用户就是管理员。

如果不想安装 Open Webui 也可以安装一个 Cherry Studio 这样的工具来连接我们本地的 Ollama。

相关推荐
新加坡内哥谈技术17 小时前
Claude Code 的魔力
人工智能
北邮刘老师18 小时前
关于智能体互联协议标准的130天
人工智能·大模型·智能体·智能体互联网
一条星星鱼19 小时前
深度学习是如何收敛的?梯度下降算法原理详解
人工智能·深度学习·算法
Elastic 中国社区官方博客19 小时前
AutoOps:简单的 Elasticsearch 集群监控与管理现已支持本地部署
大数据·人工智能·elasticsearch·搜索引擎·云计算·全文检索
金井PRATHAMA21 小时前
语义网络对人工智能自然语言处理中深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
程序猿阿伟1 天前
《重构工业运维链路:三大AI工具让设备故障“秒定位、少误判”》
运维·人工智能·重构
yueyuebaobaoxinx1 天前
聚焦技术落地,展现 AI 重构产业的实践路径。
人工智能·重构
算家云1 天前
Sora 2 的社交野心:AI 如何重构内容社交产品逻辑?
人工智能·openai·算家云·租算力,到算家云·sora 2·ai社交
飞哥数智坊1 天前
Qwen3 Omni 的“全模态”,到底和多模态有啥不一样?
人工智能
文火冰糖的硅基工坊1 天前
[光学原理与应用-480]:《国产检测设备对比表》
前端·人工智能·系统架构·制造·半导体·产业链