open-webui+ollama本地部署Llama3

前言

Meta Llama 3 是由 Meta 公司发布的下一代大型语言模型,拥有 80 亿和 700 亿参数两种版本,号称是最强大的开源语言模型。它在多个基准测试中超越了谷歌的 Gemma 7B 和 Mistral 7B Instruct 模型。

安装

1.gpt4all

https://github.com/nomic-ai/gpt4all

直接选择系统点击安装,Windows就点Windows,下载完后直接安装即可!

内置模型点击Download即可选择你喜欢的大语言模型,8G显存选LLama3 8B即可,70B需要40G的显存才能正常使用。其他模型类似

复制代码
C:\Users\admin\AppData\Local\nomic.ai\GPT4All           #下载模型保存路径(如果看不到显示隐藏文件)

也可以下载大模型(或者你微调的模型)放入该路径,重新启动即可,当做一个webui界面

2.open-webui+ollama

ollama

https://github.com/ollama/ollama?tab=readme-ov-file

选择对应系统安装

安装完后cmd命令行窗口,运行

复制代码
ollama run llama3             #下载Llama3 8b
ollama run llama3:70b      #下载Llama3 70b  参考下图

模型保存在改路径下,

安装完Ollama后用open-webui可视化

open-webui

https://github.com/open-webui/open-webui?tab=readme-ov-file

使用docker安装

左下角搜索启用或关闭Windows功能,勾选适用于Linux的Windows子系统 ,确定,先不重启

安装docker

https://www.docker.com/products/docker-desktop/

下载完直接安装,重启,确定即可

打开ollama和docker,cmd命令行:(打开全局代理)

复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

下载完后

http://127.0.0.1:3000

点击右上角设置,选择简体中文

下载模型 llama3:8b ,点击下载

最后可以愉快玩耍了

补:lmstudio(问题多)

https://lmstudio.ai/

国内安装显示没网,开全局代理也没用,版本更新也快,把huggingface换成国内镜像hf-mirror,没用,又把downloads.json文件更换下载地址,能下但是下载速度贼慢,

有兴趣可以看看https://www.bilibili.com/video/BV1dw4m1f7zQ/?spm_id_from=333.337.search-card.all.click&vd_source=69a72fa3fe0bf11ff1588ccaeb91737a

最好找个老版本

相关推荐
Him__12 小时前
AI能源危机:人工智能发展与环境可持续性的矛盾与解决之道
人工智能·ai·chatgpt·aigc·llama
小技工丨1 天前
LLaMA-Factory:了解webUI参数
人工智能·llm·llama·llama-factory
AI360labs_atyun2 天前
谷歌前CEO TED演讲解析:AI 红利的三年窗口期与行业重构
人工智能·科技·ai·重构·llama·教育
KangkangLoveNLP3 天前
Llama:开源的急先锋
人工智能·深度学习·神经网络·算法·机器学习·自然语言处理·llama
小技工丨3 天前
LLaMA-Factory:环境准备
机器学习·大模型·llama·llama-factory
聚客AI3 天前
ChatGPT到Claude全适配:跨模型Prompt高级设计规范与迁移技巧
人工智能·机器学习·语言模型·自然语言处理·langchain·transformer·llama
LucianaiB5 天前
使用GpuGeek高效完成LLaMA大模型微调:实践与心得分享
ai·llama·ai自动化·gpugeek
为啥全要学6 天前
LLaMA-Factory 微调 Qwen2-7B-Instruct
llama·大模型微调·llamafactory
一把年纪学编程6 天前
dify 连接不上ollama An error occurred during credentials validation:
llama
陈奕昆7 天前
五、【LLaMA-Factory实战】模型部署与监控:从实验室到生产的全链路实践
开发语言·人工智能·python·llama·大模型微调