战神book本地部署ollama+千问

本文主要介绍部署本地模型

Ollama 是一个让你在本地电脑运行大语言模型的工具。

核心功能

功能 说明
本地运行大模型 Llama、千问、DeepSeek 等,无需联网
保护隐私 对话数据不上传云端
免费使用 开源模型,无 API 费用
命令行操作 简单几条命令就能用
API 服务 其他软件可以调用,比如配图形界面

下面介绍在windows系统部署使用

第一步:下载安装包

访问 Ollama 官网下载 Windows 版安装包:

官方下载地址:https://ollama.com/download/windows

或者使用加速镜像:https://dubapkg.cmcmcdn.com/cs/257def/ollama.exe

可能下载较慢,可考虑网盘获取免安装版本

网盘分享:ollama-windows-amd64.zip

链接: https://pan.baidu.com/s/1inWs-tsKn2CE8vQrMTbsGg?pwd=8aub 提取码: 8aub

cmd进入对话框,执行一下命令

ollama --version

如返回版本说明安装成功

设置环境变量

然后安装相关模型,此次安装千问为例子,在安装前需要先设置相关环境变量,防止模型被默认下载到C盘了。

1个path变量,追加为安装包路径,1个OLLAMA_MODELS 全大写,设定为空闲的磁盘目录

然后启动服务 和 加载 模型

启动 命令

shell框内执行:

H:

cd H:\ollama-windows-amd64

ollama.exe serve

后台保持运行

安装千问模型

然后新开一个窗口运行:

cd H:\ollama-windows-amd64

ollama.exe run qwen2.5

此时会进行下载资源包,约5G大小,下载完成后即可使用:

界面如下:

安装完成测试验证

安装一个浏览器插件方便UI访问

也可以用 浏览器插件 Page Assist,更轻量:

打开 Chrome/Edge 浏览器

访问插件商店,搜索 Page Assist

安装后点击插件图标

在设置里选择 Ollama,地址填 http://localhost:11434

选择模型即可使用

相关推荐
隔窗听雨眠11 小时前
大语言模型推理效率的多维优化与部署取舍
人工智能·语言模型·自然语言处理
小豆庄1 天前
本地视频打码:多模型检测、帧间追踪与18种模糊的选型
opencv·目标检测·ai·自然语言处理·音视频·视频
BioTender1 天前
Hugging Face 发布 Carbon-X:一个能够直接理解 DNA 的大语言模型
人工智能·语言模型·自然语言处理
阡陌数智1 天前
通过特化小型语言模型的词表将推理成本降低百分之七十七
人工智能·语言模型·自然语言处理
Solange__1 天前
图片转3D导出GLB、FBX还是OBJ?按5类任务比较材质、动画与可编辑性
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
大模型任我行1 天前
英伟达:双重采样修正强化学习奖励
人工智能·语言模型·自然语言处理·论文笔记
大鹏的NLP博客1 天前
从格赖斯合作原则看大语言模型与提示词工程
人工智能·自然语言处理·大模型·agent
Martina_03212 天前
AI生成的3D模型打印后沿层纹开裂?用6步检查方向、壁厚与填充
图像处理·人工智能·数学建模·3d·自然语言处理·游戏策划·1024程序员节
zx_741484812 天前
BERT自然语言处理框架深度解析:从Transformer到双向预训练模型
自然语言处理·bert·transformer
小oo呆2 天前
【自然语言处理与大模型】自然语言处理的漫漫长路之深度学习时代
人工智能·深度学习·自然语言处理