ollama的本地部署内含推荐模型!

下载ollama

1.从官网(https://ollama.com/)下载ollama软件并且安装 注意软件是默认安装在C盘

打开cmd后输入:查看命令ollama --version

查看模型仓库:ollama list

显示模型信息: ollama show

在cmd中去拉模型: ollama pull 模型名称

删除模型:ollama rm 模型名称

测试ollama运行状态:http://localhost:11434(访问网址)出现Ollama is running即使正在运行,如果连接打不开就是没在运行。

更改环境变量

1.查看环境变量:

  1. 右键点击"此电脑"或"计算机",选择"属性"。
  2. 点击"高级系统设置"。 在"高级"选项卡中,点击"环境变量"。
  3. 在这里,您可以看到"用户变量"和"系统变量"两个部分。
  4. 用户变量仅对当前用户有效,而系统变量对所有用户都有效。

2.设置环境变量:

在"用户变量"或"系统变量"部分,点击"新建"来创建一个新的环境变量。

输入变量名和变量值。 点击"确定"保存更改。

3.更改模型下载位置

OLLAMA_MODELS D:\path\Ollama\Ollama_models(模型位置)

安装模型

我的笔记本是一台 4年前的笔记本,CPU i7-10代,内存 48G ,显卡 GTX 1650 4G。显卡虽然弱鸡,但很幸运能支持CUDA11.1。

因此我选择几个4bit的模型为主:

打开ollama在cmd中运行下载模型指令
1.ollama run qwen 14b
2.ollama run qwen 7b
3.ollama run qwen 1.8b
4.ollama run bge-large-zh-v1.5-f16

本人建议使用1.8b回答的速度非常快!

安装webui界面

webui界面可以使用两种方式分别是docker和node.js

第一种首先安装docker(https://www.docker.com/)

docker安装完成后记得换源不然下载webui会很慢。

Docker安装完成后打开电脑终端(cmd)输入以下指令:

复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

下载完docker运行镜像即可。
第二种node安装

首先安装git和node(node建议安装最新版)

首先用git克隆open ui到本地:

c 复制代码
git clone https://github.com/openui/open-ui.git
cd open-ui

进入项目目录后,安装项目依赖:

c 复制代码
npm install

启动开发服务器

安装完成后,启动开发服务器:

c 复制代码
npm start

现在,你可以在浏览器中访问 http://localhost:3000 查看项目运行情况。

注意!!!

本人在使用node安装Open UI的时候发现openui0.4.0版本开始不能获取到你本地的ollama模型,所以我建议你使用docker或者git拉取openui0.3.8以下的版本!

相关推荐
@t.t.1 小时前
利用Rancher平台搭建Swarm集群
docker·rancher
WIN赢7 小时前
【P03_AI大模型测试之_定制化 AI 应用程序开发】
ai
阿杜杜不是阿木木9 小时前
开始 ComfyUI 的 AI 绘图之旅-Stable Diffusion图生图之局部重绘(Inpaint)和扩图(Outpaint)(三)
人工智能·ai·ai作画·aigc·图生图
阿杜杜不是阿木木9 小时前
开始 ComfyUI 的 AI 绘图之旅-Stable Diffusion图生图(二)
人工智能·ai·ai作画·aigc·图生图
Davie_Liu9 小时前
【Docker Buildx】docker buildx本地构建多架构镜像,拉取镜像时的网络延迟问题(已解决)
网络·docker·buildx
阿杜杜不是阿木木13 小时前
开始 ComfyUI 的 AI 绘图之旅-Flux.1文生图(全网首发,官网都没有更新)(七)
人工智能·ai·ai作画·aigc·图生图
target酱13 小时前
Docker部署全流程
前端·docker
FutureUniant15 小时前
GitHub每日最火火火项目(9.10)
人工智能·microsoft·计算机视觉·ai·github
Anthony_23115 小时前
MySQL的常用命令
运维·数据库·mysql·adb·docker
傻傻虎虎16 小时前
【Docker】常用帮忙、镜像、容器、其他命令合集(1)
运维·docker·容器