Windows(Win10、Win11)本地部署开源大模型保姆级教程

目录

点我去AIGIS公众号查看本文

本期教程用到的所有安装包已上传到百度网盘

链接:https://pan.baidu.com/s/1j281UcOF6gnOaumQP5XprA

提取码:wzw7

前言

最近开源大模型可谓闹的沸沸扬扬,尤其是Microsoft开源的wizardlm2 8*22bMeta开源的llama3 70b,评测都已经接近了OpenAI GPT4的水平。鉴于还有很多同学不会在Windows(Win10、Win11)上部署和使用本地模型,因此我们出一期保姆级教程。

1.安装ollama

ollama是一个离线运行大模型的工具,注意你可不要把它和Meta的大模型llama混淆,二者不是同一个东西。ollama工具的下载地址为https://ollama.com/download,选择Windows版本进行下载安装即可。

2.安装大模型

ollama默认安装路径为C:\Users\用户名\AppData\Local\Programs\Ollama,我们先进入到这个路径

然后在地址栏输入cmd后回车

此时会打开一个命令终端黑框

现在输入ollama run llama3

等待下载完成即可。恭喜你!现在你可以开始问问题了!

现在我们还有一个问题,这个界面不好看,我们要它的界面和OpenAI一样的风格,可以,必须满足你。

首次安装会自动打开该cmd界面

3.安装HyperV

先根据以下操作路径看看自己电脑有没有HyperV安装选项:控制面板-程序-启用或关闭Windows功能-HyperV.


如果没有HyperV安装选项,则新建一个.txt文件,将以下内容拷贝进去,然后把文件后缀名改为.bat,右键以管理员权限运行即可。运行完毕后再次按照上面路径操作安装HyperV

bash 复制代码
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

4.安装Docker

直接在Docker官网https://www.docker.com/products/docker-desktop/下载最新版本的Docker Desktop,我下载的是Docker Desktop4.28.0,其中包含的Docker的版本是25.0.3,Docker-Compose的版本是2.24.6。注意不要混淆DockerDocker Desktop。如果是低版本的Docker Desktop,那就需要自己手动安装Docker-Compose了。

配置一下Docker访问中国镜像源

js 复制代码
{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "http://f1361db2.m.daocloud.io",
    "https://registry.docker-cn.com"
  ]
}

配置完毕之后在cmd输入docker version确认一下是否安装成功了。

5.安装聊天界面

有了之前的操作之后,接下来我们的操作就简单多了,直接在cmd中运行以下命令,安装聊天界面

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

回到Docker界面看看是否已经在运行WebUI了,图标亮起就表示已经在运行了,点击后面的端口号就可以在浏览器中查看了。

先注册,后登陆,然后选择模型,就可以开始聊天了。

后面得看看有没有办法在离线环境下打开这个聊天界面,目前离线环境下打开界面还是不太方便。

6.总结

本文讲述了如何在Windows(Win10 Win11)上本地部署大模型。从最基础的软件安装到环境配置都进行了截图展示,希望对非计算机的同学也有所帮助。AI时代我们每个人都必须要掌握一些AI知识,相信不断学习的你一定不会被AI淘汰。这只是开始,后面我们还有很多工作要做,尤其是提示词智能体 方面的知识,我们仍需要不断的学习,后续我也会持续更新,希望我们都能跟上时代的潮流。
更多精彩内容见公众号AIGIS

相关推荐
梓仁沐白1 小时前
ubuntu+windows双系统切换后蓝牙设备无法连接
windows·ubuntu
九鼎科技-Leo5 小时前
什么是 WPF 中的依赖属性?有什么作用?
windows·c#·.net·wpf
gz7seven6 小时前
BLIP-2模型的详解与思考
大模型·llm·多模态·blip·多模态大模型·blip-2·q-former
Yang.998 小时前
基于Windows系统用C++做一个点名工具
c++·windows·sql·visual studio code·sqlite3
我不瘦但很逗8 小时前
Windows下使用DBeaver连接云数据库(MySQL)
数据库·windows
ashane13149 小时前
Java list
java·windows·list
万里沧海寄云帆9 小时前
Word 插入分节符页码更新问题
windows·microsoft·word
dot.Net安全矩阵10 小时前
.NET 通过模块和驱动收集本地EDR的工具
windows·安全·web安全·.net·交互
编程修仙12 小时前
Collections工具类
linux·windows·python
程序员小羊!13 小时前
高级 SQL 技巧讲解
windows