hugging face:大模型时代的github介绍

1. Hugging Face是什么:

Hugging Face大模型时代的"github",很多人有个这样的认知,但是我觉得不完全准确,他们相似的地方在于资源丰富,github有各种各样的软件代码和示例,但是它不是系统的,没有经过规划管理,Hugging Face不一样,它是有系统的,有更聚焦的主题,规划和主线。

我尝试这样去理解它,希望会更加贴切 :

如果大模型是一盘盘精致的菜肴,那么Hugging Face就是一个设备和食材丰富的中央厨房,走进去挑选趁手的锅碗瓢盆和食材就可以做菜,里面还有预制菜,利用它的资源很容易就能做出所需要的菜肴 。

大模型是菜肴,Hugging Face就是设备食材都齐全的中央厨房 。

2. Hugging Face有哪些东西 ?

对于做大模型相关的人来说,Hugging Face就是个宝藏库,里面超多好用的东西,但是想要快速理解,对初学者有实际价值的,主要是三大块:

  1. Hugging Face hub :镜像云资源池,里面有各种大模型和数据集,可以直接API下载调用,只要知道每个大模型能干什么,就可以即拿即用 。

  2. Transformers : 大模型工具集,一系列的API用来加载模型数据,前后处理,数据处理,模型训练,模型量化,模型fine-tune等功能。

  3. Hugging Face Spaces:云计算资源,可免费托管你自己的应用或者大模型,提供远程界面验证和演示。

2.1 Hugging Face Hub

https://huggingface.co/

Hugging Face Hub就是一个池子,里面有丰富的资源,主要的就是模型和数据。有超过1万个预训练模型,以及对应的数据,详细如下:

The Hugging Face Hub is a platform with over 120k models, 20k datasets, and 50k demos in which people can easily collaborate in their ML workflows. The Hub works as a central place where anyone can share, explore, discover, and experiment with open-source Machine Learning.

2.1.1 模型

模型是分类的,有计算机视觉相关的,NLP,多模态,语音,表格处理,强化学习等等,资源非常丰富,详细分类如下:

计算机视觉

深度估计,图片分类,物体检测,图片分割,文生图,图生文,图生图,图生视频 等等。

NLP
多模态:

虚拟问答,图生文,文档问答等

Audio

文字生成语音,自动语音识别,语音转语音,语音分类等

表格处理

表格的分类和表格表示

强化学习

强化学习和机器人相关

其他
2.1.2 数据

数据的分类和模型的一模一样,基本上模型有的数据也配套有。

2.2 Transformers 工具集

首先它是一个Python 库 。

这个库能直接加载支持的多种模型和数据,它跟hub里面的资源是无缝连接,可以利用它进行模型的训练,fine-tune,量化,前后处理以及运行 等,要用大模型做测试验证或者做产品,它提供全面的工具集API接口

如果要开始coding,基于hugging face平台,Transformers是首先要熟悉和了解的资源库。

2.3 Hugging Face Spaces

https://huggingface.co/spaces

Spaces本质是一个算力平台,从价值体现来看它是一个大模型 的展示台,Hugging Face提供的开放平台可以运行跑你自己的应用,可以和github联动,提交后自动构建,提供便利的web ui交互方式,让开发自己的大模型应用变得非常直观和简单 。

大模型是菜肴,但是好不好吃合不合口味你不知道,Spaces提供一个免费厨房,根据你的菜谱自动做给你吃,让你尝一尝,同时也能开源,其他人想吃也可以直接在Spaces里直接尝。

一个非常便利的好处就是你开源了一个工程,其他开发者想要快速直观地看一下效果,Spaces能提供给你这个平台,但是天下没有免费的午餐,免费的空间是有限制的,要更强的服务需要收费。

比如如下腾讯托管的一个开源项目,https://github.com/TencentARC/InstantMesh,它是一个提供2D图片,给你生成3D的多维度的效果,在Spaces上有免费的示例可以测试验证:(左边输入一张图片,会生成右边多个维度的图片以及3D的图片),还有很多其他的LLM模型都有托管工程可以测试

以上的比喻和分层均根据自己理解整理,事实上huggingface是个很强大的公司,里面有比以上描述更多的功能,有详细的文档,社群等,需要了解和学习的很多,大模型时代有这样的工具平台,是各位开发者的一大幸事。

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

相关推荐
埃菲尔铁塔_CV算法2 分钟前
人工智能图像算法:开启视觉新时代的钥匙
人工智能·算法
EasyCVR2 分钟前
EHOME视频平台EasyCVR视频融合平台使用OBS进行RTMP推流,WebRTC播放出现抖动、卡顿如何解决?
人工智能·算法·ffmpeg·音视频·webrtc·监控视频接入
打羽毛球吗️9 分钟前
机器学习中的两种主要思路:数据驱动与模型驱动
人工智能·机器学习
好喜欢吃红柚子26 分钟前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
小馒头学python30 分钟前
机器学习是什么?AIGC又是什么?机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
神奇夜光杯39 分钟前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
正义的彬彬侠42 分钟前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost
Debroon1 小时前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~1 小时前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨1 小时前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测