Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输

每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息,快来看看吧! 🎉😍

🤗Hub 加入分类整理 (Collection) 功能

现在你可以把任何你喜欢的模型 / 数据集 / Space 应用等按照自己的喜好进行分类整理和收藏。这个功能不仅对个人账号开放,同时对 Hub 上的组织账号也同样开放,Collection 会显示在个人或者组织的资料页面上,快去试试看吧!

查看文档: hf.co/docs/hub/co...

模型显存计算器

模型显存计算器 (Model Memory Calculator) 工具,旨在帮助大家计算在 🤗 Hub上训练或运行大型模型所需的 vRAM(显存)。这个工具能在百分之几的误差内估算模型的显存需求。

最小推荐的 vRAM 是模型"最大层"的大小,而训练一个模型大约需要其大小的 4 倍显存 (考虑到 Adam 优化器)。在进行模型推理 (inference) 时,可能还需额外增加最多 20% 的显存。这个工具支持所有使用 transformers 和 timm 库的模型。使用时只需输入模型的 URL 或名字,选择其来源框架,以及你想使用的精度即可。 即刻体验: hf-accelerate-model-memory-usage.hf.space/

探索生物和化学方面的基座模型

我们一位同事 Katie 正在收集生物和化学领域的基座模型的列表,我们看到绝大多数都是开源并且开放权重的。

你可以在这里查看到这些模型的列表: hf.co/spaces/hf4h...

为什么要在文本生成中选择使用流式传输?

流式传输是服务器逐个返回模型生成的标记 (tokens) 的模式,这有助于用户逐步查看生成过程,而不必等待整个生成完成。这对于提高终端用户体验至关重要,因为它减少了延迟,这是流畅体验的关键因素之一。

使用流式传输,服务器可以在生成完整响应之前逐个返回标记,使用户能够更早地了解生成质量。这有一些积极的影响:对于非常长的查询,用户可以更早地获得结果。在生成过程中观察进展允许用户在生成不符合他们期望的方向时停止生成。在早期展示结果时,感知的延迟较低。在会话界面中使用时,体验感觉更加自然。

我们发布了一个文档,介绍了如何在 Python、cURL 和 JavaScript 中实现流式传输,以及流式传输的工作原理,其中使用了 Server-Sent Events(SSE)来建立 HTTP 连接并实现数据的单向传输。通过指定最大并发请求数,还可以管理服务器的负载。

查看文档: hf.co/docs/text-g...


以上就是本期的 Hugging News,新的一周开始了,我们一起加油! 💪🎉

相关推荐
风华圆舞2 分钟前
鸿蒙 + Flutter 下 AI 助手为什么要支持流式输出
人工智能·flutter·harmonyos
爱勇宝2 分钟前
如何评价 Claude Fable 5 全球暂停访问?
人工智能·程序员
装不满的克莱因瓶2 分钟前
自然语言处理常见任务——从文本理解到生成式AI的完整任务体系
人工智能·pytorch·python·深度学习·ai·自然语言处理
朱大喜5 分钟前
AI 数据分析实战:大模型驱动的自动化报表生成,从数据到洞察的工程化链路
人工智能
wb0430720116 分钟前
阿明的二次创业——从阿明用 AI 开第二家店,看 AI 原生创业的四阶段方法论
大数据·人工智能·架构
Godspeed Zhao16 分钟前
Level 4自动驾驶系统设计0——功能与场景0
人工智能·机器学习·自动驾驶
Dola_Zou19 分钟前
边缘智能的“黑暗森林”:工业 AI 模型下沉的资产防护与变现密码
人工智能·安全·自动化·软件工程·软件加密
青岛前景互联信息技术有限公司20 分钟前
前景互联·新一代智能接处警系统:AI+大模型+Agent智能接处警一体化解决方案
大数据·人工智能·物联网
xin_yao_xin23 分钟前
Claude Code 安装与 DeepSeek-V4 模型配置(2026 最新)
人工智能·ai·大模型·deepseek·claude code
北京软秦科技有限公司23 分钟前
通用零部件来料材质证书智能把关,IACheck搭配AI报告审核通审Agent版比对订单与报告参数
人工智能·材质