ollama的本地部署内含推荐模型!

下载ollama

1.从官网(https://ollama.com/)下载ollama软件并且安装 注意软件是默认安装在C盘

打开cmd后输入:查看命令ollama --version

查看模型仓库:ollama list

显示模型信息: ollama show

在cmd中去拉模型: ollama pull 模型名称

删除模型:ollama rm 模型名称

测试ollama运行状态:http://localhost:11434(访问网址)出现Ollama is running即使正在运行,如果连接打不开就是没在运行。

更改环境变量

1.查看环境变量:

  1. 右键点击"此电脑"或"计算机",选择"属性"。
  2. 点击"高级系统设置"。 在"高级"选项卡中,点击"环境变量"。
  3. 在这里,您可以看到"用户变量"和"系统变量"两个部分。
  4. 用户变量仅对当前用户有效,而系统变量对所有用户都有效。

2.设置环境变量:

在"用户变量"或"系统变量"部分,点击"新建"来创建一个新的环境变量。

输入变量名和变量值。 点击"确定"保存更改。

3.更改模型下载位置

OLLAMA_MODELS D:\path\Ollama\Ollama_models(模型位置)

安装模型

我的笔记本是一台 4年前的笔记本,CPU i7-10代,内存 48G ,显卡 GTX 1650 4G。显卡虽然弱鸡,但很幸运能支持CUDA11.1。

因此我选择几个4bit的模型为主:

打开ollama在cmd中运行下载模型指令
1.ollama run qwen 14b
2.ollama run qwen 7b
3.ollama run qwen 1.8b
4.ollama run bge-large-zh-v1.5-f16

本人建议使用1.8b回答的速度非常快!

安装webui界面

webui界面可以使用两种方式分别是docker和node.js

第一种首先安装docker(https://www.docker.com/)

docker安装完成后记得换源不然下载webui会很慢。

Docker安装完成后打开电脑终端(cmd)输入以下指令:

复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

下载完docker运行镜像即可。
第二种node安装

首先安装git和node(node建议安装最新版)

首先用git克隆open ui到本地:

c 复制代码
git clone https://github.com/openui/open-ui.git
cd open-ui

进入项目目录后,安装项目依赖:

c 复制代码
npm install

启动开发服务器

安装完成后,启动开发服务器:

c 复制代码
npm start

现在,你可以在浏览器中访问 http://localhost:3000 查看项目运行情况。

注意!!!

本人在使用node安装Open UI的时候发现openui0.4.0版本开始不能获取到你本地的ollama模型,所以我建议你使用docker或者git拉取openui0.3.8以下的版本!

相关推荐
小Wang7 小时前
npm私有库创建(docker+verdaccio)
前端·docker·npm
大模型教程1 天前
小白学大模型:从零搭建LLaMA
程序员·llm·llama
muyun28002 天前
Docker 下部署 Elasticsearch 8 并集成 Kibana 和 IK 分词器
elasticsearch·docker·容器
傻傻虎虎3 天前
【Docker】常用帮忙、镜像、容器、其他命令合集(2)
运维·docker·容器
九章云极AladdinEdu3 天前
超参数自动化调优指南:Optuna vs. Ray Tune 对比评测
运维·人工智能·深度学习·ai·自动化·gpu算力
2401_897930063 天前
使用Docker轻松部署Neo4j图数据库
数据库·docker·neo4j
LeeZhao@3 天前
【AI推理部署】Docker篇04—Docker自动构建镜像
人工智能·docker·容器
程思扬3 天前
利用JSONCrack与cpolar提升数据可视化及跨团队协作效率
网络·人工智能·经验分享·docker·信息可视化·容器·架构
CoderJia程序员甲3 天前
GitHub 热榜项目 - 日榜(2025-09-13)
ai·开源·大模型·github·ai教程
落日漫游3 天前
dockercompose和k8s区别
docker·kubernetes