Win环境下Ollama+OpenWebUI本地部署llama教程

本文将简单介绍如何在Windows环境下通过Ollama本地部署大语言模型(LLM),并通过OpenWebUI实现访问。

一、准备工作

1. 系统要求

  • 操作系统:Windows 10 或更新版本
  • 内存:16GB 以上
  • GPU:性能和显存足够,如RTX 3060以上

二、安装Ollama

1. 下载和安装

  1. 访问Ollama的官网下载适用于Windows的安装包
    https://ollama.com/download

  2. 运行下载的安装包,按照提示完成安装。默认安装路径为:

    复制代码
    C:\Users\username\AppData\Local\Programs\Ollama

2. 配置环境变量

同时,因为默认安装和模型下载路径为C盘,为了更改模型的下载路径,可以在环境变量中这样修改:

三、运行Ollama模型

1. 下载模型

Ollama支持多种LLM模型,例如Llama2、Llama3等。你可以使用以下命令下载并运行模型:

复制代码
ollama run llama2

如果Ollama找不到模型,它会自动下载。下载完成后,你可以在命令行中输入提示以测试模型。

2. 列出本地模型

使用以下命令查看已下载的模型列表:

复制代码
ollama list

四、安装OpenWebUI

1. 下载和安装

OpenWebUI是一个用户友好的Web界面,便于与LLM进行交互。你可以从其GitHub仓库下载最新版本。以下是非Docker方式的安装步骤:

  1. 下载OpenWebUI的安装包,并解压到指定目录。

  2. 打开命令行,进入OpenWebUI的解压目录,运行以下命令安装依赖:

    npm install

安装完成后,启动OpenWebUI:

复制代码
npm start

2. 配置和访问

启动后,OpenWebUI将在本地的3000端口运行。你可以在浏览器中访问http://localhost:3000查看和使用Web界面。

五、实现公网访问

如果你需要在公网环境中访问本地部署的LLM,可以使用内网穿透工具如cpolar:

安装并配置cpolar,具体步骤请参考cpolar官网,并运行以下命令将本地的3000端口暴露到公网:

复制代码
cpolar http 3000

获取公网地址后,你可以在任何地方通过该地址访问OpenWebUI界面。

【参考资料】

相关推荐
顾鸟2 天前
ComfyUI 使用 LLaMA-Factory 微调的 Qwen3.5:从模型导出到工作流出图--晨羽算力平台
llama·comfyui·工作流·qwen3.5
lucas_AI9 天前
别再做词对齐了:让 LLM 直接「往原文里插标签」,跨语言标注 F1 干到 0.92
nlp
一条大祥脚10 天前
llama.cpp 深度解析:从 GGUF 到本地推理的事实标准
llama
lucas_AI16 天前
LLM 做信息抽取「找得到但对不齐」:1.3 万条中文军事新闻标注揭示了什么
nlp
~远在太平洋~17 天前
大模型评测框架 OpenCompass 本地部署保姆级教程:从安装到跑通 C-Eval 基准(含依赖冲突修复与判分避坑)
llama
程序猿编码20 天前
告别 GPU 空转!token 级调度,Qwen/Llama 高并发推理引擎
人工智能·机器学习·llm·llama·大模型推理
还卿一钵无情泪22 天前
PEFT-Transformers、Unsloth、LLaMA-Factory 微调框架 横向对比
深度学习·大模型·llama·ollama
程序猿编码23 天前
不依赖 vLLM/llama.cpp:一套面向学习的 DeepSeek-R1 CUDA 推理实现
c++·学习·语言模型·llama·vllm·大模型推理
天燹23 天前
本地部署大模型ollama
人工智能·llama
骑着蜗牛撵大象32724 天前
N1 小盒子撑起 AI 接口中转层:New-API 接管本地 Ollama,用 Token 分发模型能力
docker·llama·1024程序员节·api网关·飞牛nas·new-api