Windows(Win10、Win11)本地部署开源大模型保姆级教程

目录

点我去AIGIS公众号查看本文

本期教程用到的所有安装包已上传到百度网盘

链接:https://pan.baidu.com/s/1j281UcOF6gnOaumQP5XprA

提取码:wzw7

前言

最近开源大模型可谓闹的沸沸扬扬,尤其是Microsoft开源的wizardlm2 8*22bMeta开源的llama3 70b,评测都已经接近了OpenAI GPT4的水平。鉴于还有很多同学不会在Windows(Win10、Win11)上部署和使用本地模型,因此我们出一期保姆级教程。

1.安装ollama

ollama是一个离线运行大模型的工具,注意你可不要把它和Meta的大模型llama混淆,二者不是同一个东西。ollama工具的下载地址为https://ollama.com/download,选择Windows版本进行下载安装即可。

2.安装大模型

ollama默认安装路径为C:\Users\用户名\AppData\Local\Programs\Ollama,我们先进入到这个路径

然后在地址栏输入cmd后回车

此时会打开一个命令终端黑框

现在输入ollama run llama3

等待下载完成即可。恭喜你!现在你可以开始问问题了!

现在我们还有一个问题,这个界面不好看,我们要它的界面和OpenAI一样的风格,可以,必须满足你。

首次安装会自动打开该cmd界面

3.安装HyperV

先根据以下操作路径看看自己电脑有没有HyperV安装选项:控制面板-程序-启用或关闭Windows功能-HyperV.


如果没有HyperV安装选项,则新建一个.txt文件,将以下内容拷贝进去,然后把文件后缀名改为.bat,右键以管理员权限运行即可。运行完毕后再次按照上面路径操作安装HyperV

bash 复制代码
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

4.安装Docker

直接在Docker官网https://www.docker.com/products/docker-desktop/下载最新版本的Docker Desktop,我下载的是Docker Desktop4.28.0,其中包含的Docker的版本是25.0.3,Docker-Compose的版本是2.24.6。注意不要混淆DockerDocker Desktop。如果是低版本的Docker Desktop,那就需要自己手动安装Docker-Compose了。

配置一下Docker访问中国镜像源

js 复制代码
{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "http://f1361db2.m.daocloud.io",
    "https://registry.docker-cn.com"
  ]
}

配置完毕之后在cmd输入docker version确认一下是否安装成功了。

5.安装聊天界面

有了之前的操作之后,接下来我们的操作就简单多了,直接在cmd中运行以下命令,安装聊天界面

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

回到Docker界面看看是否已经在运行WebUI了,图标亮起就表示已经在运行了,点击后面的端口号就可以在浏览器中查看了。

先注册,后登陆,然后选择模型,就可以开始聊天了。

后面得看看有没有办法在离线环境下打开这个聊天界面,目前离线环境下打开界面还是不太方便。

6.总结

本文讲述了如何在Windows(Win10 Win11)上本地部署大模型。从最基础的软件安装到环境配置都进行了截图展示,希望对非计算机的同学也有所帮助。AI时代我们每个人都必须要掌握一些AI知识,相信不断学习的你一定不会被AI淘汰。这只是开始,后面我们还有很多工作要做,尤其是提示词智能体 方面的知识,我们仍需要不断的学习,后续我也会持续更新,希望我们都能跟上时代的潮流。
更多精彩内容见公众号AIGIS

相关推荐
askah66445 小时前
mfc140u.dll丢失怎么办? mfc140u.dll文件缺失的修复技巧
windows·经验分享·游戏·microsoft·dll修复
染指11107 小时前
40.第二阶段x86游戏实战2-初识lua
windows·游戏·游戏逆向·保姆级攻略
shujuwa6610 小时前
Mac电脑技巧:适用于Mac的免费外置硬盘数据恢复软件
android·windows·macos·智能手机·电脑·开源软件
微学AI11 小时前
关于基于AGI和大模型技术下养老服务高质量发展解决方案项目,以及实现代码过程实战
人工智能·python·大模型·agi
小蜗的房子11 小时前
SQL Server 2022安装要求(硬件、软件、操作系统等)
运维·windows·sql·学习·microsoft·sqlserver·操作系统
*小海豚*11 小时前
网关(Gateway)和DNS(Domain Name System)
windows
shujuwa6612 小时前
5个有效的华为(HUAWEI)手机数据恢复方法
windows·华为·智能手机·电脑·开源软件
黑客-雨14 小时前
AI时代的产品经理修炼手册:《人工智能产品经理》
人工智能·学习·大模型·产品经理·大模型学习·大模型入门·大模型教程
微刻时光14 小时前
Windows上安装Redis
运维·数据库·windows·redis·缓存