人工智能学习（AI大模型） 必须要知道的两个网站 Ollama 和 Hugging Face 文章里含【Ollama 安装部署教程】

先分享一下这两个网站的 官方网址

Ollama : ollama.com/

Hugging Face: huggingface.co/

对于 Hugging Face 网站的访问 必须需要 科学上网才可以噢~

Ollama 和 Hugging Face 介绍

HuggingFace：

1、概述

HuggingFace 是一个知名的开源平台，专注于自然语言处理（NLP）和机器学习领域。它提供了大量预训练的大型语言模型（LLMs），如 GPT-3、BERT 和 RoBERTa，并构建了一个丰富的生态系统，支持模型的微调、评估和部署。HuggingFace 的目标是让开发者和研究人员能够轻松访问和使用这些先进的模型，推动 AI 技术的普及和应用。

2、核心功能与特点

预训练模型库：HuggingFace 提供了全球最大的预训练模型库之一，涵盖了 NLP、计算机视觉、语音处理等多个领域。这些模型支持 PyTorch 和 TensorFlow 等主流深度学习框架，适合多样化的 AI 项目需求。

Transformers 库：HuggingFace 的核心工具之一，提供了简单易用的 API，支持加载、微调和推理各种预训练模型。开发者可以快速上手并集成到自己的应用中。

Hugging Face Hub：一个云端平台，允许用户上传、共享和下载模型、数据集和代码。Hub 提供了全球社区的资源共享，极大地促进了协作和创新。

Open LLM Leaderboard：一个开放的排行榜，展示了各种大型语言模型的性能指标。对于想要探索和比较不同 LLMs 的用户来说，这是一个非常有价值的参考工具。

Datasets 库：提供了丰富的数据集资源，支持快速加载和处理数据，帮助开发者高效地进行模型训练和评估。

Accelerate 库：简化了分布式训练和推理的过程，支持在多 GPU 或 TPU 环境下高效运行模型。

3、生态系统与工具

HuggingFace 的生态系统非常成熟，提供了多种工具和资源，帮助开发者从模型开发到部署的全流程：

模型微调：通过 Transformers 库，开发者可以轻松地对预训练模型进行微调，以适应特定的任务或数据集。

模型评估：提供了多种评估工具和指标，帮助开发者衡量模型的性能。

模型部署：支持将模型部署到云端或本地环境，满足不同场景的需求。

社区支持：HuggingFace 拥有活跃的开发者社区，用户可以通过论坛、文档和教程获取帮助和支持。

4、云端支持与本地部署

云端支持：HuggingFace 提供了强大的云端基础设施，用户可以通过 Hugging Face Hub 访问和使用数千种预训练模型。云端的便捷性和可扩展性使得开发者能够快速迭代和部署模型。

本地部署：虽然 HuggingFace 的云端服务非常强大，但它也支持在本地环境中部署模型，适合对数据隐私或网络延迟有较高要求的场景。

5、应用场景

HuggingFace 的工具和模型广泛应用于以下领域：

自然语言处理（NLP）：如文本分类、情感分析、机器翻译、问答系统等。

计算机视觉：如图像分类、目标检测、图像生成等。

语音处理：如语音识别、语音合成等。

多模态任务：结合文本、图像和语音的多模态模型，支持更复杂的 AI 应用。

6、总结

HuggingFace 是一个功能强大且易于使用的平台，为开发者和研究人员提供了丰富的资源和工具，帮助他们快速构建和部署 AI 模型。无论是初学者还是资深专家，HuggingFace 都能满足其在模型开发、微调、评估和部署等方面的需求。通过其开放的生态系统和活跃的社区，HuggingFace 正在推动 AI 技术的普及和创新。

Ollama：

1、概述

Ollama 是一款专注于本地部署大语言模型（LLMs）的软件，旨在让用户能够在自己的设备上完全运行模型，无需将数据上传至云端。这种设计最大程度地保护了用户隐私，并提供了高度的数据控制能力，特别适合对数据隐私要求高或需要在离线环境中运行的场景。

2、核心特点

本地部署：Ollama 的核心优势在于其本地化运行能力。所有模型和数据都存储在用户的本地设备上，避免了数据泄露的风险，适合对隐私和安全要求极高的场景。

支持高效模型：Ollama 专注于支持少量但高效的大语言模型，如 Llama、Mistral、Qwen 等。这些模型经过优化，能够在本地设备上高效运行。

简化的模型管理：Ollama 提供了直观的命令行界面，简化了模型的下载、安装和运行流程，适合希望快速部署和运行大语言模型的开发者。

GGUF 格式支持：Ollama 支持 HuggingFace 语言模型的 GGUF 格式，用户可以直接在本地下载和运行这些模型，无需依赖外部服务或 API。

3、适用场景

高度数据控制：适合需要完全控制数据的场景，如医疗、金融等敏感领域。

离线环境：适合在没有网络连接的环境中运行模型，如偏远地区或保密项目。

快速实验：适合开发者快速在本地设备上实验和测试大语言模型，无需复杂的配置和依赖。

4、优势与局限

优势：

隐私保护：数据无需上传至云端，最大程度保护用户隐私。

快速部署：简化的命令行界面和模型管理，适合快速搭建本地 AI 应用。

离线支持：完全本地化运行，适合离线环境。

局限：

灵活性较低：相比 HuggingFace 等平台，Ollama 的功能和灵活性可能略逊一筹，适合特定场景而非复杂多样的需求。

模型选择有限：专注于少量高效模型，可能无法满足所有用户的需求。

5、使用流程

下载与安装：从 Ollama 官网或 GitHub 仓库下载并安装软件。

模型下载：通过命令行界面下载支持的模型（如 Llama、Mistral、Qwen 等），格式为 GGUF。

本地运行：使用命令行工具启动模型，直接在本地设备上运行。

实验与测试：在本地环境中进行模型实验和测试，无需依赖外部服务。

6、总结

Ollama 是一款专注于本地部署大语言模型的工具，特别适合对数据隐私和离线运行有高要求的用户。它通过简化的命令行界面和高效的模型支持，帮助开发者快速在本地设备上运行和实验大语言模型。虽然其灵活性和模型选择相对有限，但在特定场景下，Ollama 提供了极高的隐私保护和便捷性。

如何让 Ollama 和 Hugging Face 协同工作？

1、模型下载与本地化

在 Hugging Face Hub 上选择模型

首先，在 Hugging Face Hub 上选择合适的预训练模型（如 GPT、BERT、Llama 等）。Hugging Face 提供了丰富的模型库，涵盖多种任务和领域。

微调模型

使用 Hugging Face 的 transformers 库对选定的模型进行微调，以适应特定的任务或数据集。微调过程可以在本地或云端完成，具体取决于数据规模和计算资源。

将模型转换为 GGUF 格式

微调完成后，将模型转换为 Ollama 支持的 GGUF 格式。GGUF 是一种高效的模型格式，适合在本地设备上运行。

使用 Ollama 部署模型

将转换后的 GGUF 模型加载到 Ollama 中，在本地设备上运行推理。这种方式确保了数据隐私和高效推理，特别适合对隐私要求高的场景。

2、数据管理与处理

使用 Hugging Face Datasets 库

利用 Hugging Face 的 datasets 库加载和管理数据集。Hugging Face 提供了丰富的数据集资源，支持快速加载和高效的数据预处理。

在本地环境中运行数据

将处理好的数据集保存到本地，并通过 Ollama 加载模型进行推理。这种方式确保了数据始终在本地设备上运行，无需上传至云端，最大程度保护了用户隐私。

本地推理

使用 Ollama 加载模型并对本地数据集进行推理。这种方式不仅保护了数据隐私，还能在离线环境中高效运行。

3、工作流自动化

创建集成工作流

将 Hugging Face 和 Ollama 的功能整合到一个自动化工作流中。例如：

使用 Hugging Face 加载和预处理数据。

使用 Hugging Face 微调模型并导出为 GGUF 格式。

使用 Ollama 加载模型并在本地运行推理。

优化开发过程

通过自动化工作流，开发者可以快速迭代模型开发、微调和部署流程，同时确保数据隐私和本地化运行。这种方式特别适合需要快速实验和高效开发的场景。

4、协同工作的优势

隐私保护：数据始终在本地设备上运行，无需上传至云端，最大程度保护了用户隐私。

高效推理：Ollama 的本地化部署确保了低延迟和高性能，特别适合对实时性要求高的场景。

灵活性与丰富性：Hugging Face 提供了丰富的模型和数据集资源，而 Ollama 提供了本地化部署的便捷性，两者结合可以满足多样化的需求。

快速开发：通过自动化工作流，开发者可以快速从模型开发到部署，提高开发效率。

对于 Hugging Face 这个网站 大家可以把他当场 github 来使用 里面有各种开源的 大模型 和 训练集

Ollama 软件 安装

根据自己的系统 选择安装

我的电脑是Windows10，这里选择Windows版本安装即可。

windows 安装起来就比较简单了 下一步 下一步 完成即可。

运行命令行，检测ollama是否成功安装。

ollama -v

如果命令不生效，可配置环境变量解决。

以下是 Ollama 使用常见的指令：

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息  

导入 huggingface 模型

Ollama 从最新版0.3.13开始支持从 Huggingface Hub 上直接拉取各种模型，包括社区创建的 GGUF 量化模型。用户可以通过简单的命令行指令快速运行这些模型。

可以使用如下命令：

ollama run hf.co/{username}/{repository}   

请注意，您可以使用 hf.co 或 huggingface.co 作为域名。

要选择不同的模型，只需在命令中添加一个标签：

ollama run hf.co/{username}/{repository}:{quantization}   

例如：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

所以 对于 从业 it技术的小伙伴 如果想在 互联网 技术行业走的更远 ，一定要坚持学习新的技术，从而才不容易被淘汰~