如何将AI大模型部署到本地电脑

所需工具:
Ollama
Docker
open-webui

  1. 下载并安装Ollama

  2. 下载AI模型(支持中文较好的模型qwen2

    Windows命令行输入:

bash 复制代码
ollama run qwen2


  1. 下载并安装Docker

  2. 通过Docker部署open-webui

    Windows命令行输入:

bash 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完docker镜像,可以在Docker软件中看到:

点击自动在浏览器中打开网页:

然后便可以愉快的在浏览器网页上使用AI模型了

相关推荐
落魄实习生6 小时前
AI应用-本地模型实现AI生成PPT(简易版)
python·ai·vue·ppt
ibrahim8 小时前
Llama 3.2 900亿参数视觉多模态大模型本地部署及案例展示
ai·大模型·llama·提示词
探索云原生12 小时前
在 K8S 中创建 Pod 是如何使用到 GPU 的: nvidia device plugin 源码分析
ai·云原生·kubernetes·go·gpu
SimonLiu00915 小时前
[AI]30分钟用cursor开发一个chrome插件
chrome·ai·ai编程
伯牙碎琴15 小时前
智能体实战(需求分析助手)二、需求分析助手第一版实现(支持需求提取、整理、痛点分析、需求分类、优先级分析、需求文档生成等功能)
ai·大模型·agent·需求分析·智能体
卓琢1 天前
2024 年 IA 技术大爆发深度解析
深度学习·ai·论文笔记
zaim11 天前
计算机的错误计算(一百八十七)
人工智能·ai·大模型·llm·错误·正弦/sin·误差/error
凳子花❀2 天前
市场常见AI芯片总结
ai·gpu
豌豆花下猫2 天前
Python 潮流周刊#82:美国 CIA 如何使用 Python?(摘要)
后端·python·ai
爱学习的小道长2 天前
Python langchain ReAct 使用范例
python·ai·langchain