ollama的本地部署内含推荐模型!

下载ollama

1.从官网(https://ollama.com/)下载ollama软件并且安装 注意软件是默认安装在C盘

打开cmd后输入:查看命令ollama --version

查看模型仓库:ollama list

显示模型信息: ollama show

在cmd中去拉模型: ollama pull 模型名称

删除模型:ollama rm 模型名称

测试ollama运行状态:http://localhost:11434(访问网址)出现Ollama is running即使正在运行,如果连接打不开就是没在运行。

更改环境变量

1.查看环境变量:

  1. 右键点击"此电脑"或"计算机",选择"属性"。
  2. 点击"高级系统设置"。 在"高级"选项卡中,点击"环境变量"。
  3. 在这里,您可以看到"用户变量"和"系统变量"两个部分。
  4. 用户变量仅对当前用户有效,而系统变量对所有用户都有效。

2.设置环境变量:

在"用户变量"或"系统变量"部分,点击"新建"来创建一个新的环境变量。

输入变量名和变量值。 点击"确定"保存更改。

3.更改模型下载位置

OLLAMA_MODELS D:\path\Ollama\Ollama_models(模型位置)

安装模型

我的笔记本是一台 4年前的笔记本,CPU i7-10代,内存 48G ,显卡 GTX 1650 4G。显卡虽然弱鸡,但很幸运能支持CUDA11.1。

因此我选择几个4bit的模型为主:

打开ollama在cmd中运行下载模型指令
1.ollama run qwen 14b
2.ollama run qwen 7b
3.ollama run qwen 1.8b
4.ollama run bge-large-zh-v1.5-f16

本人建议使用1.8b回答的速度非常快!

安装webui界面

webui界面可以使用两种方式分别是docker和node.js

第一种首先安装docker(https://www.docker.com/)

docker安装完成后记得换源不然下载webui会很慢。

Docker安装完成后打开电脑终端(cmd)输入以下指令:

复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

下载完docker运行镜像即可。
第二种node安装

首先安装git和node(node建议安装最新版)

首先用git克隆open ui到本地:

c 复制代码
git clone https://github.com/openui/open-ui.git
cd open-ui

进入项目目录后,安装项目依赖:

c 复制代码
npm install

启动开发服务器

安装完成后,启动开发服务器:

c 复制代码
npm start

现在,你可以在浏览器中访问 http://localhost:3000 查看项目运行情况。

注意!!!

本人在使用node安装Open UI的时候发现openui0.4.0版本开始不能获取到你本地的ollama模型,所以我建议你使用docker或者git拉取openui0.3.8以下的版本!

相关推荐
小周学学学30 分钟前
docker安装与简单项目上手
运维·docker·容器
remCoding1 小时前
Java全栈面试实录:从电商场景到AIGC的深度技术考察
spring boot·redis·spring cloud·ai·kafka·aigc·java面试
小刘|2 小时前
腾讯云服务上下载docker以及使用Rabbitmq的流程
docker·rabbitmq·腾讯云
云途行者2 小时前
使用 docker 安装 openldap
运维·docker·容器
Andy杨4 小时前
20250718-1-Kubernetes 应用程序生命周期管理-应用部署、升级、弹性_笔记
linux·docker·容器
别致的影分身10 小时前
Docker 镜像原理
运维·docker·容器
阿葱(聪)10 小时前
java 在k8s中的部署流程
java·开发语言·docker·kubernetes
路人蛃10 小时前
通过国内扣子(Coze)搭建智能体并接入discord机器人
人工智能·python·ubuntu·ai·aigc·个人开发
板板正11 小时前
SpringAI——提示词(Prompt)、提示词模板(PromptTemplate)
java·spring boot·ai·prompt
板板正11 小时前
SpringAI——对话记忆
java·spring boot·ai