战神book本地部署ollama+千问

本文主要介绍部署本地模型

Ollama 是一个让你在本地电脑运行大语言模型的工具。

核心功能

功能 说明
本地运行大模型 Llama、千问、DeepSeek 等,无需联网
保护隐私 对话数据不上传云端
免费使用 开源模型,无 API 费用
命令行操作 简单几条命令就能用
API 服务 其他软件可以调用,比如配图形界面

下面介绍在windows系统部署使用

第一步:下载安装包

访问 Ollama 官网下载 Windows 版安装包:

官方下载地址:https://ollama.com/download/windows

或者使用加速镜像:https://dubapkg.cmcmcdn.com/cs/257def/ollama.exe

可能下载较慢,可考虑网盘获取免安装版本

网盘分享:ollama-windows-amd64.zip

链接: https://pan.baidu.com/s/1inWs-tsKn2CE8vQrMTbsGg?pwd=8aub 提取码: 8aub

cmd进入对话框,执行一下命令

ollama --version

如返回版本说明安装成功

设置环境变量

然后安装相关模型,此次安装千问为例子,在安装前需要先设置相关环境变量,防止模型被默认下载到C盘了。

1个path变量,追加为安装包路径,1个OLLAMA_MODELS 全大写,设定为空闲的磁盘目录

然后启动服务 和 加载 模型

启动 命令

shell框内执行:

H:

cd H:\ollama-windows-amd64

ollama.exe serve

后台保持运行

安装千问模型

然后新开一个窗口运行:

cd H:\ollama-windows-amd64

ollama.exe run qwen2.5

此时会进行下载资源包,约5G大小,下载完成后即可使用:

界面如下:

安装完成测试验证

安装一个浏览器插件方便UI访问

也可以用 浏览器插件 Page Assist,更轻量:

打开 Chrome/Edge 浏览器

访问插件商店,搜索 Page Assist

安装后点击插件图标

在设置里选择 Ollama,地址填 http://localhost:11434

选择模型即可使用

相关推荐
for_ever_love__14 小时前
LangChain 降级、重试与超时:让服务在模型抽风时还能用
python·自然语言处理·langchain·agent·超时·重试·with_retry
倔强的石头10617 小时前
多模态大模型架构_视觉语言模型VLM原理
人工智能·语言模型·自然语言处理
I Am a robert girl17 小时前
从路由信号到选择性复核:MoE 视觉语言模型的视觉重定位
人工智能·语言模型·自然语言处理·视觉语言模型·混合专家模型·路由信号·目标缺失接地
Martina_032118 小时前
AI生成3D模型怎么判断能不能继续编辑?用6步检查Mesh、材质、UV与导出文件
图像处理·人工智能·3d·ai·自然语言处理·uv·游戏策划
qyyyyy5701 天前
WhatsApp 联系人表格怎么清洗?Excel 文本类型、重复号码与姓名冲突处理
数据库·自然语言处理·excel·hash
空 白II2 天前
10.12 大语言模型研究简报:美国恢复英国对前沿AI模型的预发布安全测试合作
人工智能·语言模型·自然语言处理
JAVA_AI人工智能项目实战2 天前
Agent核心架构(四层架构、ReAct、OTAC、自主决策、Multi-Agent)
人工智能·语言模型·自然语言处理·架构
Phoenixtree_DongZhao2 天前
扩散语言模型综述:并行生成的潜力与边界
人工智能·语言模型·自然语言处理
chien0112 天前
为什么一串文字能变成一个向量?——从分布假说到语言模型的语义表示
人工智能·语言模型·自然语言处理
Evanfu02162 天前
AI 短剧出海前要检查哪些版权、肖像和声音权利?
自然语言处理·aigc·音视频·视频·机器翻译·自动翻译