huggingface

阿钱真强道16 小时前
aigc·huggingface·sdxl·stablediffusion·diffusers·rtx4090
02 SDXL:环境安装、模型下载与图片生成实战 ARM + Ubuntu 24 + RTX 4090最近在搭一套本地 AI 视频生成流水线,整体思路是:因此,第一步就是先把 图片生成环境 跑通。本文主要记录一次在 ARM 架构服务器 + Ubuntu 24 + RTX 4090 环境下,本地部署 SDXL 并完成测试出图的全过程。 目标不是一开始就追求最佳画质,而是:
重生之我要成为代码大佬6 天前
人工智能·python·大模型·huggingface·模型微调
HuggingFace生态实战:从模型应用到高效微调写在前面:本博客全部基于知乎的大模型课程所做的笔记和整以及和在实操过程中遇到的问题和处理方法,(老师们讲的都很好,解答的也很细致)博主也正在学习中,如果有错误的地方期待和我沟通。大多代码都来自于上课的资料,加入了一些注释和梳理,或者对我没有跑通的代码做了一些修改让他符合我的需求。之前的链接:langchain、AI框架
Flying pigs~~9 天前
人工智能·自然语言处理·bert·文本分类·huggingface·trainer
基于huggingface库Trainer实现Bert文本分类实战Trainer 是 Hugging Face transformers 库中的一个核心API,它为PyTorch模型提供了一个功能完整的训练和评估循环。它的主要目标是简化训练流程,让你不需要手动编写繁琐的训练代码,可以更专注于模型、数据和参数本身。
摘星编程11 天前
华为·开源·huggingface·gitcode·昇腾
开源力量:GitCode+昇腾NPU 部署Mistral-7B-Instruct-v0.2模型的技术探索与经验总结目录开源力量:GitCode+昇腾NPU 部署Mistral-7B-Instruct-v0.2模型的技术探索与经验总结
von Neumann16 天前
人工智能·深度学习·机器学习·ai·大模型·huggingface
大模型从入门到应用——HuggingFace:Transformers-[AutoClass]分类目录:《大模型从入门到应用》总目录在您可以在数据集上训练模型之前,数据需要被预处理为期望的模型输入格式。无论您的数据是文本、图像还是音频,它们都需要被转换并组合成批量的张量。🤗 Transformers 提供了一组预处理类来帮助准备数据以供模型使用:
YMWM_25 天前
huggingface·lerobot
lerobot下载的pi0.5模型的默认存储位置PI0.5 相关文件大致在两个位置:从 Hugging Face Hub 下载后,会缓存在本地:常见目录结构类似:
长安即是故里3 个月前
huggingface·存储·图床
使用HuggingFace免费搭建100G的图床和网盘,支持上传大文件本文大约阅读8分钟hello大家好,我是反调,今天个大家分享一个使用HuggingFace免费搭建100G的图床和网盘的教程,无需实名认证即可完成搭建。就之前写过一期关于使用缤纷云搭建图床的教程,很多小伙伴反馈,说是需要实名认证,很不放心自己的隐私信息。所以就找了其他的教程,嘿嘿。今天分享的这个也是开源项目CloudFlare-ImgBed,一个基于 Cloudflare Pages 的开源文件托管解决方案,为用户提供免费、稳定、高效的文件存储服务。项目支持多种存储渠道,支持无服务器和有服务器部署方式,满
aopstudio3 个月前
人工智能·自然语言处理·llm·huggingface
HuggingFace Tokenizer 的进化:从分词器到智能对话引擎如果你用过 Hugging Face 的 Transformers 库,一定对 tokenizer 不陌生。它负责把"人话"变成"机器话"——也就是将文本转换成模型能理解的 token ID 序列。随着大模型从"单轮问答"走向"多轮对话",再到"调用外部工具完成任务",tokenizer 的角色早已超越了简单的分词器,正在成为构建可靠 AI Agent 的核心基础设施。
aopstudio3 个月前
自然语言处理·大语言模型·huggingface
如何优雅地下载 Hugging Face 模型Hugging Face 已经成为事实上的开源模型分发中心,无论是 NLP、CV 还是多模态模型,几乎都可以通过一个 model id 直接获取完整权重与配置文件。
verse_armour4 个月前
人工智能·深度学习·huggingface·zenodo·数据集下载
【深度学习】Grand Challenge、zenodo、huggingface数据集下载之前写过一个Grand Challenge 上数据集的下载的帖子,不再赘述:https://blog.csdn.net/verse_armour/article/details/153273551?spm=1001.2014.3001.5501
腾飞开源4 个月前
人工智能·huggingface·onnx·transformers·嵌入模型·spring ai·句子转换器
40_Spring AI 干货笔记之 Transformers (ONNX) 嵌入TransformersEmbeddingModel 是一个 EmbeddingModel 实现,它使用选定的 句子转换器 在本地计算 句子嵌入。
leo03084 个月前
llm·sft·huggingface·trl
【LLM微调】拒绝“假装聪明”:SFTTrainer 中 completion_only_loss 新旧版本用法详解在指令微调(SFT)大模型时,你是否遇到过:训练 Loss 迅速降到 0.0x,准确率飙升到 99%,但模型实际推理效果却很差?
leo03084 个月前
llm·dp·huggingface·ddp
Hugging Face多卡训练“假快”?一文讲透`per_device_train_batch_size`的“陷阱”刚配好多卡机器,想用Hugging Face微调模型,觉得只要用python命令直接跑,卡多速度就快。结果一看nvidia-smi,发现只有一块卡在100%忙活,其他的都在“摸鱼”。更奇怪的是,训练时长和用单卡跑竟然差不多!
zhjadsf5 个月前
python·huggingface
Huggingface_hub源码解析 - 简介篇首先把huggingface_hub的中文文档过一遍。 之前以为huggingface_hub还管模型加载啥的,看了一遍文档之后才知道,它是完完全全只管文件在本地和远端的交互,不做其他事情。
墨理学AI6 个月前
huggingface·linux 软连接·hugging 模型复制
Linux 软连接 - 移动 huggingface 模型文件Hugging Face 使用 “内容寻址存储”(Content-Addressable Storage) 机制管理模型文件,核心思想是:
shizidushu7 个月前
人工智能·学习·自然语言处理·微调·huggingface
Hugging Face NLP课程学习记录 - 3. 微调一个预训练模型安装Hugging Face的datasets模块:以下以一个批次(one batch)为例,说明了如何训练一个句子分类器(sequence classifier):
HuggingFace9 个月前
开源·机械臂·huggingface
Hugging Face 开源 HopeJR 机器臂!今日直播带你深入技术核心我们的 LeRobot 项目又有了新动作 - HopeJR 正式开源!HopeJR 是一款拥有 23 自由度的开源仿生机械臂系统🦾,支持遥操作控制,具备完成复杂任务的能力,适用于科研与开发场景。整个机械臂用 3D 打印即可完成构建,硬件成本仅约 500 欧元!点击这里查看演示视频。
_Meilinger_1 年前
docker·huggingface·tmux·promptstealer·hf-mirror
碎片笔记|PromptStealer复现要点(附Docker简单实用教程)前言:本篇博客记录PromptStealer复现历程,主要分享环境配置过程中的一些经验。论文信息:Prompt Stealing Attacks Against Text-to-Image Generation Models. USENIX, 2024. 开源代码:https://github.com/verazuo/prompt-stealing-attack
Uncertainty!!1 年前
开发语言·python·机器学习·huggingface
在huggingface上制作小demo今天好兄弟让我帮他搞一个模型,他有小样本的化学数据,想让我根据这些数据训练一个小模型,他想用这个模型预测一些值 最终我简单训练了一个小模型,起初想把这个模型和GUI界面打包成exe发给他,但是发现打包后3.9GB,太大了吧!!!后来我又找了别的方案,即将训练好的模型以及相关代码、环境配置文件上传到huggingface上,通过hf的界面端直接使用这个模型,接下来我回顾一下整个流程