hugging face:大模型时代的github介绍

1. Hugging Face是什么:

Hugging Face大模型时代的"github",很多人有个这样的认知,但是我觉得不完全准确,他们相似的地方在于资源丰富,github有各种各样的软件代码和示例,但是它不是系统的,没有经过规划管理,Hugging Face不一样,它是有系统的,有更聚焦的主题,规划和主线。

我尝试这样去理解它,希望会更加贴切 :

如果大模型是一盘盘精致的菜肴,那么Hugging Face就是一个设备和食材丰富的中央厨房,走进去挑选趁手的锅碗瓢盆和食材就可以做菜,里面还有预制菜,利用它的资源很容易就能做出所需要的菜肴 。

大模型是菜肴,Hugging Face就是设备食材都齐全的中央厨房 。

2. Hugging Face有哪些东西 ?

对于做大模型相关的人来说,Hugging Face就是个宝藏库,里面超多好用的东西,但是想要快速理解,对初学者有实际价值的,主要是三大块:

  1. Hugging Face hub :镜像云资源池,里面有各种大模型和数据集,可以直接API下载调用,只要知道每个大模型能干什么,就可以即拿即用 。

  2. Transformers : 大模型工具集,一系列的API用来加载模型数据,前后处理,数据处理,模型训练,模型量化,模型fine-tune等功能。

  3. Hugging Face Spaces:云计算资源,可免费托管你自己的应用或者大模型,提供远程界面验证和演示。

2.1 Hugging Face Hub

https://huggingface.co/

Hugging Face Hub就是一个池子,里面有丰富的资源,主要的就是模型和数据。有超过1万个预训练模型,以及对应的数据,详细如下:

The Hugging Face Hub is a platform with over 120k models, 20k datasets, and 50k demos in which people can easily collaborate in their ML workflows. The Hub works as a central place where anyone can share, explore, discover, and experiment with open-source Machine Learning.

2.1.1 模型

模型是分类的,有计算机视觉相关的,NLP,多模态,语音,表格处理,强化学习等等,资源非常丰富,详细分类如下:

计算机视觉

深度估计,图片分类,物体检测,图片分割,文生图,图生文,图生图,图生视频 等等。

NLP
多模态:

虚拟问答,图生文,文档问答等

Audio

文字生成语音,自动语音识别,语音转语音,语音分类等

表格处理

表格的分类和表格表示

强化学习

强化学习和机器人相关

其他
2.1.2 数据

数据的分类和模型的一模一样,基本上模型有的数据也配套有。

2.2 Transformers 工具集

首先它是一个Python 库 。

这个库能直接加载支持的多种模型和数据,它跟hub里面的资源是无缝连接,可以利用它进行模型的训练,fine-tune,量化,前后处理以及运行 等,要用大模型做测试验证或者做产品,它提供全面的工具集API接口

如果要开始coding,基于hugging face平台,Transformers是首先要熟悉和了解的资源库。

2.3 Hugging Face Spaces

https://huggingface.co/spaces

Spaces本质是一个算力平台,从价值体现来看它是一个大模型 的展示台,Hugging Face提供的开放平台可以运行跑你自己的应用,可以和github联动,提交后自动构建,提供便利的web ui交互方式,让开发自己的大模型应用变得非常直观和简单 。

大模型是菜肴,但是好不好吃合不合口味你不知道,Spaces提供一个免费厨房,根据你的菜谱自动做给你吃,让你尝一尝,同时也能开源,其他人想吃也可以直接在Spaces里直接尝。

一个非常便利的好处就是你开源了一个工程,其他开发者想要快速直观地看一下效果,Spaces能提供给你这个平台,但是天下没有免费的午餐,免费的空间是有限制的,要更强的服务需要收费。

比如如下腾讯托管的一个开源项目,https://github.com/TencentARC/InstantMesh,它是一个提供2D图片,给你生成3D的多维度的效果,在Spaces上有免费的示例可以测试验证:(左边输入一张图片,会生成右边多个维度的图片以及3D的图片),还有很多其他的LLM模型都有托管工程可以测试

以上的比喻和分层均根据自己理解整理,事实上huggingface是个很强大的公司,里面有比以上描述更多的功能,有详细的文档,社群等,需要了解和学习的很多,大模型时代有这样的工具平台,是各位开发者的一大幸事。

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

相关推荐
Luzem03192 分钟前
使用scikit-learn中的KNN包实现对鸢尾花数据集的预测
人工智能·深度学习·机器学习
AI趋势预见39 分钟前
使用AI生成金融时间序列数据:解决股市场的数据稀缺问题并提升信噪比
人工智能·深度学习·神经网络·语言模型·金融
dot.Net安全矩阵1 小时前
拒绝 Github 投毒,通过 Sharp4SuoBrowser 分析 Visual Studio 隐藏文件
ide·安全·web安全·github·.net·.netcore·visual studio
Zda天天爱打卡1 小时前
【机器学习实战中阶】使用Python和OpenCV进行手语识别
人工智能·python·深度学习·opencv·机器学习
油泼辣子多加1 小时前
2025年01月23日Github流行趋势
github
贾贾20232 小时前
配电网的自动化和智能化水平介绍
运维·笔记·科技·自动化·能源·制造·智能硬件
背太阳的牧羊人2 小时前
冻结语言模型中的 自注意力层,使其参数不参与训练(梯度不会更新)。 对于跨注意力层,则解冻参数,使这些层可以进行梯度更新,从而参与训练。
人工智能·语言模型·自然语言处理
2401_890416712 小时前
Recaptcha2 图像怎么识别
人工智能·python·django
机器之心3 小时前
贾佳亚团队联合Adobe提出GenProp,物体追踪移除特效样样在行
人工智能
一叶_障目3 小时前
机器学习之决策树(DecisionTree——C4.5)
人工智能·决策树·机器学习