ollama的本地部署内含推荐模型!

下载ollama

1.从官网(https://ollama.com/)下载ollama软件并且安装 注意软件是默认安装在C盘

打开cmd后输入:查看命令ollama --version

查看模型仓库:ollama list

显示模型信息: ollama show

在cmd中去拉模型: ollama pull 模型名称

删除模型:ollama rm 模型名称

测试ollama运行状态:http://localhost:11434(访问网址)出现Ollama is running即使正在运行,如果连接打不开就是没在运行。

更改环境变量

1.查看环境变量:

  1. 右键点击"此电脑"或"计算机",选择"属性"。
  2. 点击"高级系统设置"。 在"高级"选项卡中,点击"环境变量"。
  3. 在这里,您可以看到"用户变量"和"系统变量"两个部分。
  4. 用户变量仅对当前用户有效,而系统变量对所有用户都有效。

2.设置环境变量:

在"用户变量"或"系统变量"部分,点击"新建"来创建一个新的环境变量。

输入变量名和变量值。 点击"确定"保存更改。

3.更改模型下载位置

OLLAMA_MODELS D:\path\Ollama\Ollama_models(模型位置)

安装模型

我的笔记本是一台 4年前的笔记本,CPU i7-10代,内存 48G ,显卡 GTX 1650 4G。显卡虽然弱鸡,但很幸运能支持CUDA11.1。

因此我选择几个4bit的模型为主:

打开ollama在cmd中运行下载模型指令
1.ollama run qwen 14b
2.ollama run qwen 7b
3.ollama run qwen 1.8b
4.ollama run bge-large-zh-v1.5-f16

本人建议使用1.8b回答的速度非常快!

安装webui界面

webui界面可以使用两种方式分别是docker和node.js

第一种首先安装docker(https://www.docker.com/)

docker安装完成后记得换源不然下载webui会很慢。

Docker安装完成后打开电脑终端(cmd)输入以下指令:

复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

下载完docker运行镜像即可。
第二种node安装

首先安装git和node(node建议安装最新版)

首先用git克隆open ui到本地:

c 复制代码
git clone https://github.com/openui/open-ui.git
cd open-ui

进入项目目录后,安装项目依赖:

c 复制代码
npm install

启动开发服务器

安装完成后,启动开发服务器:

c 复制代码
npm start

现在,你可以在浏览器中访问 http://localhost:3000 查看项目运行情况。

注意!!!

本人在使用node安装Open UI的时候发现openui0.4.0版本开始不能获取到你本地的ollama模型,所以我建议你使用docker或者git拉取openui0.3.8以下的版本!

相关推荐
果子⌂1 小时前
Docker-构建镜像并实现LNMP架构
mysql·nginx·docker·容器·架构·php
无敌糖果1 小时前
K8S数据流核心底层逻辑剖析
docker·容器·kubernetes·k8s架构·底层逻辑·k8s数据流
小阿鑫2 小时前
AI领域又新增协议: AG-UI
ai·agent·mcp·a2a·ag-ui
魂兮归乡3 小时前
B2、进度汇报(— 25/06/16)
经验分享·spring boot·ai·vue·团队开发·课程设计·web app
liliangcsdn4 小时前
在mac m1基于llama.cpp运行deepseek
人工智能·macos·语言模型·llama
踏莎行hyx4 小时前
使用langchain连接llama.cpp部署的本地deepseek大模型开发简单的LLM应用
c++·ai·langchain·大模型·llama.cpp·deepseek
极限实验室5 小时前
一键启动:使用 start-local 脚本轻松管理 INFINI Console 与 Easysearch 本地环境
数据库·docker
❀͜͡傀儡师5 小时前
docker 安装数据集成平台 Apache SeaTunnel 服务
docker·容器
超级小忍6 小时前
Spring Boot 与 Docker 的完美结合:容器化你的应用
spring boot·后端·docker
虾条_花吹雪7 小时前
Spring for Apache Pulsar->Reactive Support->Message Production
ai·spring pulsar