如何将AI大模型部署到本地电脑

所需工具:
Ollama
Docker
open-webui

  1. 下载并安装Ollama

  2. 下载AI模型(支持中文较好的模型qwen2

    Windows命令行输入:

bash 复制代码
ollama run qwen2


  1. 下载并安装Docker

  2. 通过Docker部署open-webui

    Windows命令行输入:

bash 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完docker镜像,可以在Docker软件中看到:

点击自动在浏览器中打开网页:

然后便可以愉快的在浏览器网页上使用AI模型了

相关推荐
Topstip1 小时前
GitHub Copilot 转型采用多模型策略,支持 Claude 3.5 和 Gemini
人工智能·ai
MJ绘画中文版12 小时前
灵动AI:艺术与科技的融合
人工智能·ai·ai视频
健忘的派大星19 小时前
什么是RAG,有哪些RAG引擎?看完这一篇你就知道了!!
人工智能·ai·语言模型·langchain·llm·agi·rag
AI原吾21 小时前
构建灵活、高效的HTTP/1.1应用:探索h11库
网络·python·网络协议·http·ai·h11
小城哇哇1 天前
【AI多模态大模型】基于AI的多模态数据痴呆病因鉴别诊断
人工智能·ai·语言模型·llm·agi·多模态·rag
Roc_z71 天前
探讨Facebook的AI研究:未来社交平台的技术前瞻
ai·facebook·社交媒体·隐私保护
MJ绘画中文版1 天前
灵动AI:科技改变未来
人工智能·ai·ai视频
大模型算法和部署1 天前
构建生产级的 RAG 系统
人工智能·机器学习·ai
moseyaya2 天前
我用Replicate训练了个纹身Flux AI LORA模型,分享下经验
ai