在星河社区部署大模型unsloth/Llama-3.3-70B-Instruct-GGUF

unsloth/Llama-3.3-70B-Instruct-GGUF在hf的网址:https://huggingface.co/unsloth/Llama-3.3-70B-Instruct-GGUF

在hf-mirror镜像的网址:https://hf-mirror.com/unsloth/Llama-3.3-70B-Instruct-GGUF

先上结论,速度慢,基本上1秒一个token的往外出,基本没法使用

部署unsloth/Llama-3.3-70B-Instruct-GGUF

部署很简单,进入星河社区部署页面:飞桨AI Studio星河社区-人工智能学习与实训社区

点击:新建部署,选外部资源库,输入模型url,比如

复制代码
https://huggingface.co/unsloth/Llama-3.3-70B-Instruct-GGUF

然后点击:一键部署,后面一会儿就部署好了。

使用外部库部署要比内部(也就是热门模型库)要慢很多。而且文本输出速度也很慢,只能说聊胜于无吧。

估计也就是7b、8b模型的速度还可以一用。另外文心自己的21b模型,速度也还将就,至少咱也有免费的大模型用,还要啥自行车!

相关推荐
AI小百科8 天前
llama.cpp vs vLLM:深度解析与选型指南
llama·vllm
下班走回家9 天前
本地部署大模型的三种方式:Ollama vs vLLM vs llama.cpp
人工智能·llama·vllm
zhy2956311 天前
【DNN】基于llama.cpp的Qwen3-0.6B量化部署微调
人工智能·lora·dnn·llama·qwen3
kuokay12 天前
MLOps 与 AIOps 的核心概
人工智能·分布式·大模型·agent·llama
Trouville0112 天前
windows系统使用llama.cpp进行本地大模型部署
llama
棒棒的唐12 天前
windows 直接安装llama.cpp的方法
llama
troubles maker13 天前
LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model
llm·nlp·llama·多模态
xyz_CDragon13 天前
把旧电脑变成AI算力:llama.cpp RPC 局域网分布式推理验证与实战
人工智能·分布式·python·rpc·llama
wengad14 天前
llama.cpp进行模型格式转换和量化
llama