战神book本地部署ollama+千问

本文主要介绍部署本地模型

Ollama 是一个让你在本地电脑运行大语言模型的工具。

核心功能

功能 说明
本地运行大模型 Llama、千问、DeepSeek 等,无需联网
保护隐私 对话数据不上传云端
免费使用 开源模型,无 API 费用
命令行操作 简单几条命令就能用
API 服务 其他软件可以调用,比如配图形界面

下面介绍在windows系统部署使用

第一步:下载安装包

访问 Ollama 官网下载 Windows 版安装包:

官方下载地址:https://ollama.com/download/windows

或者使用加速镜像:https://dubapkg.cmcmcdn.com/cs/257def/ollama.exe

可能下载较慢,可考虑网盘获取免安装版本

网盘分享:ollama-windows-amd64.zip

链接: https://pan.baidu.com/s/1inWs-tsKn2CE8vQrMTbsGg?pwd=8aub 提取码: 8aub

cmd进入对话框,执行一下命令

ollama --version

如返回版本说明安装成功

设置环境变量

然后安装相关模型,此次安装千问为例子,在安装前需要先设置相关环境变量,防止模型被默认下载到C盘了。

1个path变量,追加为安装包路径,1个OLLAMA_MODELS 全大写,设定为空闲的磁盘目录

然后启动服务 和 加载 模型

启动 命令

shell框内执行:

H:

cd H:\ollama-windows-amd64

ollama.exe serve

后台保持运行

安装千问模型

然后新开一个窗口运行:

cd H:\ollama-windows-amd64

ollama.exe run qwen2.5

此时会进行下载资源包,约5G大小,下载完成后即可使用:

界面如下:

安装完成测试验证

安装一个浏览器插件方便UI访问

也可以用 浏览器插件 Page Assist,更轻量:

打开 Chrome/Edge 浏览器

访问插件商店,搜索 Page Assist

安装后点击插件图标

在设置里选择 Ollama,地址填 http://localhost:11434

选择模型即可使用

相关推荐
测开小菜鸟1 天前
从AI概念到LLM评估:全面解析大型语言模型的能力与评价
人工智能·语言模型·自然语言处理
网络工程小王1 天前
【HCIE-AI】4.NLP 核心任务与技术演进学习笔记
人工智能·深度学习·自然语言处理·nlp·transformer
小王不叫小王叭2 天前
Blip2:使用冻结图像编码器和大型语言模型的Bootstrapping图像预训练-2301
人工智能·语言模型·自然语言处理
AI人工智能+2 天前
通用表格识别:实现从非结构化图像到高保真数据的转换,提升业务流程自动化水平
深度学习·自然语言处理·ocr·表格识别
怦怦蓝2 天前
给AI装上“眼睛”:一文讲透视觉语言模型(VLM)
人工智能·语言模型·自然语言处理·vlm
manyingAi3 天前
AI漫剧制作全流程技术拆解:从NLP剧本解析到一致性角色生成
人工智能·自然语言处理
AI人工智能+3 天前
智能文档抽取系统通过“视觉感知+大模型认知“双引擎架构,实现非结构化文档的自动化处理
深度学习·计算机视觉·语言模型·自然语言处理·ocr·文档抽取
江畔柳前堤4 天前
HBM:大语言模型时代的「算力血液」——从内存墙到带宽革命的深度拆解
服务器·人工智能·windows·目标检测·语言模型·自然语言处理·软件工程
eric-sjq5 天前
10 分钟实战:用 0.6B 本地模型生成中文网页(WanlyFrontend + 编译器全流程)
javascript·机器学习·自然语言处理·html
2501_931819705 天前
苏州吴语语音活动检测标注交付公司
自然语言处理