战神book本地部署ollama+千问

本文主要介绍部署本地模型

Ollama 是一个让你在本地电脑运行大语言模型的工具。

核心功能

功能 说明
本地运行大模型 Llama、千问、DeepSeek 等,无需联网
保护隐私 对话数据不上传云端
免费使用 开源模型,无 API 费用
命令行操作 简单几条命令就能用
API 服务 其他软件可以调用,比如配图形界面

下面介绍在windows系统部署使用

第一步:下载安装包

访问 Ollama 官网下载 Windows 版安装包:

官方下载地址:https://ollama.com/download/windows

或者使用加速镜像:https://dubapkg.cmcmcdn.com/cs/257def/ollama.exe

可能下载较慢,可考虑网盘获取免安装版本

网盘分享:ollama-windows-amd64.zip

链接: https://pan.baidu.com/s/1inWs-tsKn2CE8vQrMTbsGg?pwd=8aub 提取码: 8aub

cmd进入对话框,执行一下命令

ollama --version

如返回版本说明安装成功

设置环境变量

然后安装相关模型,此次安装千问为例子,在安装前需要先设置相关环境变量,防止模型被默认下载到C盘了。

1个path变量,追加为安装包路径,1个OLLAMA_MODELS 全大写,设定为空闲的磁盘目录

然后启动服务 和 加载 模型

启动 命令

shell框内执行:

H:

cd H:\ollama-windows-amd64

ollama.exe serve

后台保持运行

安装千问模型

然后新开一个窗口运行:

cd H:\ollama-windows-amd64

ollama.exe run qwen2.5

此时会进行下载资源包,约5G大小,下载完成后即可使用:

界面如下:

安装完成测试验证

安装一个浏览器插件方便UI访问

也可以用 浏览器插件 Page Assist,更轻量:

打开 Chrome/Edge 浏览器

访问插件商店,搜索 Page Assist

安装后点击插件图标

在设置里选择 Ollama,地址填 http://localhost:11434

选择模型即可使用

相关推荐
墨心@3 天前
user-memory 运行分析报告
自然语言处理·agent·harness
Omics Pro3 天前
斯坦福Nature+Science|广义虚拟细胞基础大模型
数据库·人工智能·算法·机器学习·自然语言处理
墨天梦3 天前
25-评估指标与基准设计
人工智能·自然语言处理
江屿风3 天前
【认识深度学习】【深度学习分类与计算机视觉任务要点解析】流食般投喂
大数据·人工智能·深度学习·计算机视觉·目标跟踪·自然语言处理·语音识别
大模型任我行3 天前
谷歌:“课程学习”融入扩散模型强化学习
人工智能·语言模型·自然语言处理·论文笔记
是翎3 天前
深度长文|2026产品经理AI实践手册
人工智能·深度学习·学习·自然语言处理·数据挖掘
宝贝儿好4 天前
【LLM】第六章:LangChain框架中的大模型的创建与调用
人工智能·自然语言处理·nlp·aigc·ai编程
zzm6284 天前
ACL 2018 论文精读:副词性前提触发词的自动检测
深度学习·自然语言处理
Zzj_tju4 天前
Calibration:ECE 降低后,拒答阈值就可靠吗?
人工智能·深度学习·机器学习·自然语言处理
Omics Pro4 天前
新型条件传输模型!虚拟细胞扰动预测
数据库·人工智能·算法·机器学习·自然语言处理