在星河社区部署大模型unsloth/Llama-3.3-70B-Instruct-GGUF

unsloth/Llama-3.3-70B-Instruct-GGUF在hf的网址:https://huggingface.co/unsloth/Llama-3.3-70B-Instruct-GGUF

在hf-mirror镜像的网址:https://hf-mirror.com/unsloth/Llama-3.3-70B-Instruct-GGUF

先上结论,速度慢,基本上1秒一个token的往外出,基本没法使用

部署unsloth/Llama-3.3-70B-Instruct-GGUF

部署很简单,进入星河社区部署页面:飞桨AI Studio星河社区-人工智能学习与实训社区

点击:新建部署,选外部资源库,输入模型url,比如

复制代码
https://huggingface.co/unsloth/Llama-3.3-70B-Instruct-GGUF

然后点击:一键部署,后面一会儿就部署好了。

使用外部库部署要比内部(也就是热门模型库)要慢很多。而且文本输出速度也很慢,只能说聊胜于无吧。

估计也就是7b、8b模型的速度还可以一用。另外文心自己的21b模型,速度也还将就,至少咱也有免费的大模型用,还要啥自行车!

相关推荐
同学小张20 小时前
【端侧AI 与 C++】1. llama.cpp源码编译与本地运行
开发语言·c++·aigc·llama·agi·ai-native
程序员与背包客_CoderZ5 天前
C/C++版LLM推理框架Llama.cpp——入门与编码实战
c语言·开发语言·网络·c++·人工智能·语言模型·llama
java_logo7 天前
LOBE-CHAT Docker 容器化部署指南
运维·docker·语言模型·容器·llama
AI大模型7 天前
手把手教你用LlamaIndex搭建RAG系统,让LLM告别“幻觉”,提升回答质量!
llm·agent·llama
开发者导航16 天前
【开发者导航】轻量可微调且开源的大语言模型家族:LLaMA
语言模型·开源·llama
缘友一世16 天前
借助LLama_Factory工具对大模型进行lora微调
llama
illuspas17 天前
MI50运算卡使用llama.cpp的ROCm后端运行Qwen3-Coder-30B-A3B的速度测试
人工智能·llama
herogus丶17 天前
【LLM】LLaMA-Factory 训练模型入门指南
python·ai编程·llama
illuspas17 天前
MI50运算卡使用llama.cpp的ROCm后端运行gpt-oss-20b的速度测试
人工智能·gpt·llama
谏书稀17 天前
LLaMA Factory微调大模型
python·transformer·llama