【自然语言处理与大模型】Ollama拉取huggingface社区或modelscope社区的GGUF模型并部署

huggingface社区和魔塔社区上的gguf模型现在都支持了ollama部署模型。本文做一个简单的使用总结，详细的官方文档我放在文末。

一、快速使用命令

（1）huggingface

ollama拉取并部署gguf模型命令

# hf.co是huggingface社区
# username/repository是模型在社区的路径
ollama run hf.co/{username}/{repository}

国内用户可以将hf.co改成hf-mirror.com

ollama run hf-mirror.com/{username}/{repository}

拉取带量化的gguf模型

# 命令
ollama run hf.co/{username}/{repository}:{quantization}
# 以千问模型为例
ollama run hf.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF:Q2_K

实际跑一下命令，发现huggingface社区拉取GGUF模型巨慢无比！

（2）modelscope

首推国内的魔塔社区，下载快的多！进入社区的模型库，找到要下载的模型。

点击"下载模型"后，再点击"操作指引"。

在左侧导航栏中找到Ollama加载ModelScope模型，就能看到命令。

二、官方说明文档

Ollama如何在HuggingFaceHub里使用任何GGUF模型https://huggingface.co/docs/hub/en/ollama#use-ollama-with-any-gguf-model-on-hugging-face-hubOllama加载ModelScope模型https://www.modelscope.cn/docs/models/advanced-usage/ollama-integration