在星河社区部署大模型unsloth/Llama-3.3-70B-Instruct-GGUF

unsloth/Llama-3.3-70B-Instruct-GGUF在hf的网址:https://huggingface.co/unsloth/Llama-3.3-70B-Instruct-GGUF

在hf-mirror镜像的网址:https://hf-mirror.com/unsloth/Llama-3.3-70B-Instruct-GGUF

先上结论,速度慢,基本上1秒一个token的往外出,基本没法使用

部署unsloth/Llama-3.3-70B-Instruct-GGUF

部署很简单,进入星河社区部署页面:飞桨AI Studio星河社区-人工智能学习与实训社区

点击:新建部署,选外部资源库,输入模型url,比如

复制代码
https://huggingface.co/unsloth/Llama-3.3-70B-Instruct-GGUF

然后点击:一键部署,后面一会儿就部署好了。

使用外部库部署要比内部(也就是热门模型库)要慢很多。而且文本输出速度也很慢,只能说聊胜于无吧。

估计也就是7b、8b模型的速度还可以一用。另外文心自己的21b模型,速度也还将就,至少咱也有免费的大模型用,还要啥自行车!

相关推荐
Coder个人博客1 天前
MiniCPM-o.cpp 接口调用流程综合总结
llama
大模型实验室Lab4AI2 天前
Qwen-Video-8B与LLaMA-Factory联动实现垂类视频理解
人工智能·音视频·llama
百***78752 天前
LLaMA 4 API国内稳定接入指南:中转服务全链路实操与优化方案
开发语言·php·llama
百***24372 天前
LLaMA 4 vs GPT-5.2 全面对比:技术特性、接入成本与国内适配选型指南
gpt·llama
Coder个人博客2 天前
MiniCPM-o.cpp 项目概览
llama
大模型实验室Lab4AI3 天前
LLaMA-Factory 课程答疑系列一:10个关键问题速查,官方认证解法让训练推理不踩雷
人工智能·llama
小苑同学3 天前
PaperReding:《LLaMA: Open and Efficient Foundation Language Models》
人工智能·语言模型·llama
deephub4 天前
llama.cpp Server 引入路由模式:多模型热切换与进程隔离机制详解
人工智能·python·深度学习·llama
Robot侠6 天前
极简LLM入门指南1
llm·llama
Robot侠6 天前
Jetson Orin NX 上部署 Ollama + Llama 3.2
llama