【自然语言处理与大模型】Ollama拉取huggingface社区或modelscope社区的GGUF模型并部署

小oo呆2024-12-19 14:40

huggingface社区和魔塔社区上的gguf模型现在都支持了ollama部署模型。本文做一个简单的使用总结，详细的官方文档我放在文末。

一、快速使用命令

ollama拉取并部署gguf模型命令

bash 复制代码

# hf.co是huggingface社区
# username/repository是模型在社区的路径
ollama run hf.co/{username}/{repository}

bash 复制代码

ollama run hf-mirror.com/{username}/{repository}

拉取带量化的gguf模型

bash 复制代码

# 命令
ollama run hf.co/{username}/{repository}:{quantization}
# 以千问模型为例
ollama run hf.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF:Q2_K

实际跑一下命令，发现huggingface社区拉取GGUF模型巨慢无比！

首推国内的魔塔社区，下载快的多！进入社区的模型库，找到要下载的模型。

点击"下载模型"后，再点击"操作指引"。

在左侧导航栏中找到Ollama加载ModelScope模型，就能看到命令。