huggingface

huggingface NLP主要知识点以及超级详解使用1.安装huggingface依赖库pip install transformers pip install datasets pip install pytorch

Linux服务器部署Deepseek、Dify、RAGflow实战教程安装下载依赖 curl，用于解析下载 ollama 官方地址安装依赖 lspci 或 lshw 等工具用于检测 GPU

轻松微调大模型：利用 Colab 和 Unsloth 实现高效训练大型语言模型（LLM）如 Llama、Mistral 等在通用任务上表现惊艳，但要让它们适配特定场景（比如医疗问答、算命预测），就需要微调。Google Colab 提供免费的 GPU 资源，而 Unsloth 是一个高效的微调工具，能大幅降低显存需求，让普通用户也能在云端完成训练。这篇文章将带你一步步完成从零到部署的全过程。

huggingface/pytorch-image-modelshuggingface/pytorch-image-models单卡：多卡，下面参数的4表示4块卡一起训练：

本地部署DeepSeek-R1模型（新手保姆教程）最近deepseek太火了，无数的媒体都在报道，很多人争相着想本地部署试验一下。本文就简单教学一下，怎么本地部署。

Huggingface使用Transformer 是一种基于自注意力机制（Self-Attention）的深度学习模型，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。Transformer 模型在自然语言处理（NLP）任务中表现出色，逐渐取代了传统的循环神经网络（RNN）和卷积神经网络（CNN）模型，成为 NLP 领域的主流架构。

llamafactory使用8张昇腾910b算力卡lora微调训练qwen2-72b大模型我需要在昇腾服务器上对Qwen2-72B大模型进行lora微调，改变其自我认知。我的环境下是8张910B1卡。显存约512GB。

阿正的梦工坊

AMP 混合精度训练中的动态缩放机制: grad_scaler.py函数解析（ torch._amp_update_scale_）在深度学习中，混合精度训练（AMP, Automatic Mixed Precision）是一种常用的技术，它利用半精度浮点（FP16）计算来加速训练，同时使用单精度浮点（FP32）来保持数值稳定性。为了在混合精度训练中避免数值溢出，PyTorch 提供了一种动态缩放机制来调整 “loss scale”（损失缩放值）。本文将详细解析动态缩放机制的实现原理，并通过代码展示其内部逻辑。

阿正的梦工坊

Gemma2 2B 模型的model.safetensors.index.json文件解析在使用 Gemma2 2B 模型或其他大型预训练模型时，model.safetensors.index.json 文件起到了索引的作用，它帮助我们了解模型的结构、参数存储方式以及如何加载模型的具体权重。本博客将深入解析该文件的内容和用途。下载到本地的文件如下所示：

weixin_40455124

HUGGINGFACE NLP- MAIN NLP TASKS1.1 分类 1.1.1 实体命名识别 (NER): 找出句子中的实体（如人物、地点或组织）。这可以通过为每个实体或“无实体”指定一个类别的标签。 1.1.2 词性标注 (POS): 将句子中的每个单词标记为对应于特定的词性（如名词、动词、形容词等）。 1.1.3 分块（chunking）: 找到属于同一实体的Token。这个任务(可结合POS或NER)可以任何将一块Token作为制定一个标签(通常是B -),另一个标签(通常I -)表示Token是否是同一块,和第三个标签(通常是O)表示Token不属于

weixin_40455124

huggingface NLP-微调一个预训练模型微调一个预训练模型1.1 处理数据 1.1.1 fine-tune 使用tokenizer后的token 进行训练

人工评估 | 基础概念这是人工评估系列文章的第一篇《基础概念》，全系列包括:人工评估是指让人类评价模型输出回答的好坏。本文讨论的都是后验评估，即模型已经完成训练，给定一个任务让人类进行评估。

Visual Code的Terminal （PowerShell）中下载huggingface模型方案：使用 huggingface_hub 工具 + hf-mirror 镜像站点实现huggingface-cli 指令将用指定的站点代替缺省站点 huggingface.co

阿正的梦工坊

理解Parquet文件和Arrow格式：从Hugging Face数据集的角度出发parquet发音：美 [pɑrˈkeɪ] 镶木地板；拼花木地板在机器学习和大数据处理中，数据的存储和传输格式对于性能至关重要。两种广泛使用的格式是 Parquet 和 Arrow。它们在数据存储、传输和处理上都有各自的优势，尤其是在大规模数据集的使用中尤为重要。

阿正的梦工坊

如何从 Hugging Face 数据集中随机采样数据并保存为新的 Arrow 文件在使用 Hugging Face 的数据集进行模型训练时，有时我们并不需要整个数据集，尤其是当数据集非常大时。为了节省存储空间和提高训练效率，我们可以从数据集中随机采样一部分数据，并将其保存为新的 Arrow 文件格式。本文将介绍如何通过代码实现这一过程，并解释如何计算文件大小，以便在 dataset_info.json 文件中记录文件信息，方便后续训练使用。

制作并量化GGUF模型上传到HuggingFace和ModelScopellama.cpp 是 Ollama、LMStudio 和其他很多热门项目的底层实现，也是 GPUStack 所支持的推理引擎之一，它提供了 GGUF 模型文件格式。GGUF (General Gaussian U-Net Format) 是一种用于存储模型以进行推理的文件格式，旨在针对推理进行优化，可以快速加载和运行模型。

HyperAI超神经

对标Hugging Face？GitHub Models新增OpenAI o1/Llama 3.2等，新功能支持模型并排比较「开源能够确保世界上更多人从 AI 的发展中获得利益与机会」，扎克伯格曾在 Llama 3.1 发布时撰写长文，阐述了开源的意义。诚然，伴随 AI 近年来的飞跃式发展，开源的热度持续攀升，开发者在开源社区的贡献不仅代表了个人的技术态度，甚至也在一定程度上彰显了其探索前沿技术的成就。

safetensor存取pytorch模型参数、玄数据简例safetensors [1] 号称提供一种更安全的存数据方式，支持多种框架，见 [2]。不过在处理玄数据（metadata）时：

会飞的Anthony

基于Python的自然语言处理系列（34）：Huggingface 自定义分词器与数据集在自然语言处理 (NLP) 中，分词是将原始文本转换为模型可处理的数字形式的关键步骤。无论是情感分析、文本生成，还是问答系统，分词都决定了模型如何理解输入数据。Huggingface 的 transformers 库提供了多种强大的分词工具，使我们可以灵活地加载、保存和使用预训练模型的分词器。本篇文章将深入探讨 Huggingface 的分词器工作机制，包括基于词、字符和子词的分词方法。同时，我们将介绍如何处理长序列、多序列、以及使用填充 (padding) 和注意力掩码 (attention mask)

更改huggingface和pytorch的断点的默认下载位置更改了默认下载位置，我们就能把本地下载的默认直接放入规定的位置读入了，也能避免默认下载到系统盘但系统盘容量不足的问题。