战神book本地部署ollama+千问

本文主要介绍部署本地模型

Ollama 是一个让你在本地电脑运行大语言模型的工具。

核心功能

功能 说明
本地运行大模型 Llama、千问、DeepSeek 等,无需联网
保护隐私 对话数据不上传云端
免费使用 开源模型,无 API 费用
命令行操作 简单几条命令就能用
API 服务 其他软件可以调用,比如配图形界面

下面介绍在windows系统部署使用

第一步:下载安装包

访问 Ollama 官网下载 Windows 版安装包:

官方下载地址:https://ollama.com/download/windows

或者使用加速镜像:https://dubapkg.cmcmcdn.com/cs/257def/ollama.exe

可能下载较慢,可考虑网盘获取免安装版本

网盘分享:ollama-windows-amd64.zip

链接: https://pan.baidu.com/s/1inWs-tsKn2CE8vQrMTbsGg?pwd=8aub 提取码: 8aub

cmd进入对话框,执行一下命令

ollama --version

如返回版本说明安装成功

设置环境变量

然后安装相关模型,此次安装千问为例子,在安装前需要先设置相关环境变量,防止模型被默认下载到C盘了。

1个path变量,追加为安装包路径,1个OLLAMA_MODELS 全大写,设定为空闲的磁盘目录

然后启动服务 和 加载 模型

启动 命令

shell框内执行:

H:

cd H:\ollama-windows-amd64

ollama.exe serve

后台保持运行

安装千问模型

然后新开一个窗口运行:

cd H:\ollama-windows-amd64

ollama.exe run qwen2.5

此时会进行下载资源包,约5G大小,下载完成后即可使用:

界面如下:

安装完成测试验证

安装一个浏览器插件方便UI访问

也可以用 浏览器插件 Page Assist,更轻量:

打开 Chrome/Edge 浏览器

访问插件商店,搜索 Page Assist

安装后点击插件图标

在设置里选择 Ollama,地址填 http://localhost:11434

选择模型即可使用

相关推荐
小道士写程序14 小时前
自然语言处理NLP - 第8章 词向量与神经网络:从手工特征到学习表示
神经网络·学习·自然语言处理
Jialu.1 天前
中文 NLP 模型部署实战:FastAPI 接口 + Streamlit 看板
人工智能·python·自然语言处理·fastapi
LlmCraft|大模型工程实践1 天前
01-NLP入门-什么是自然语言处理
人工智能·自然语言处理
LlmCraft|大模型工程实践1 天前
03 文本向量化:词袋模型与 TF-IDF
自然语言处理·nlp·tf-idf
大模型任我行1 天前
蚂蚁:金融文档解析新范式
人工智能·语言模型·自然语言处理·金融·论文笔记
小白说大模型2 天前
基于 Qwen3.8-Max 构建 AI 合同精审系统:文档解析、多轮条款分析 Pipeline 工程实战
数据库·人工智能·spring·机器学习·自然语言处理
Asa121382 天前
Science Advances|大语言模型增强宏基因组酶功能注释
人工智能·语言模型·自然语言处理
傲笑风2 天前
【openvino】tinybert基于openvino服务化部署(四)
人工智能·python·自然语言处理·nlp·bert·openvino
啊阿狸不会拉杆2 天前
《自然语言处理:基于大语言模型的方法》第1章 绪论 读书笔记
人工智能·自然语言处理·nlp·easyui·智能体