【自然语言处理与大模型】Ollama拉取huggingface社区或modelscope社区的GGUF模型并部署

huggingface社区和魔塔社区上的gguf模型现在都支持了ollama部署模型。本文做一个简单的使用总结,详细的官方文档我放在文末。

一、快速使用命令

(1)huggingface

ollama拉取并部署gguf模型命令

bash 复制代码
# hf.co是huggingface社区
# username/repository是模型在社区的路径
ollama run hf.co/{username}/{repository}

国内用户可以将hf.co改成hf-mirror.com

bash 复制代码
ollama run hf-mirror.com/{username}/{repository}

拉取带量化的gguf模型

bash 复制代码
# 命令
ollama run hf.co/{username}/{repository}:{quantization}
# 以千问模型为例
ollama run hf.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF:Q2_K

实际跑一下命令,发现huggingface社区拉取GGUF模型巨慢无比!

(2)modelscope

首推国内的魔塔社区,下载快的多!进入社区的模型库,找到要下载的模型。

点击"下载模型"后,再点击"操作指引"。

在左侧导航栏中找到Ollama加载ModelScope模型,就能看到命令。

二、官方说明文档

Ollama如何在HuggingFaceHub里使用任何GGUF模型https://huggingface.co/docs/hub/en/ollama#use-ollama-with-any-gguf-model-on-hugging-face-hubOllama加载ModelScope模型https://www.modelscope.cn/docs/models/advanced-usage/ollama-integration

相关推荐
智联视频超融合平台6 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟6 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯7 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐7 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
qq_158895411118 小时前
Suno-API 是什么?官方 V6 模型与 Python / TypeScript 接入指南
python·ai音乐·suno api
71777715 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn15 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健16 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道16 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99617 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音