Transformer:开源机器学习项目,上千种预训练模型 | 开源日报 No.66

huggingface/transformers

Stars: 113.5k License: Apache-2.0

这个项目是一个名为 Transformers 的开源机器学习项目,它提供了数千种预训练模型,用于在文本、视觉和音频等不同领域执行任务。该项目主要功能包括:

  • 文本处理:支持超过 100 种语言的文本分类、信息抽取、问答、摘要生成和翻译等任务。
  • 图像处理:支持图像分类、目标检测和分割等任务。
  • 音频处理:支持语音识别和音频分类等任务。

此外,Transformer 模型还可以对多个领域进行联合操作,例如表格问答、光学字符识别以及从扫描文件中提取信息等。该项目具有以下关键特点和核心优势:

  • 提供 API 快速下载并使用预训练模型,可根据自己的数据集进行微调,并与社区共享。
  • 支持 Jax,PyTorch 和 TensorFlow 三大流行深度学习库之间无缝集成,在加载推理前轻松地训练您的模型。

microsoft/TypeScript

Stars: 94.8k License: Apache-2.0

TypeScript 是一种用于应用规模 JavaScript 的语言。它为 JavaScript 添加了可选类型,支持大型 JavaScript 应用程序的工具,在任何浏览器、任何主机和任何操作系统上都可以使用。TypeScript 编译成易读且符合标准的 JavaScript 代码。

kubernetes/autoscaler

Stars: 7.1k License: Apache-2.0

这个项目是 Kubernetes Autoscaler,它包含了用于自动扩展的组件。

主要功能有:

  • Cluster Autoscaler:根据需要调整 Kubernetes 集群的大小,以确保所有 pod 有运行空间且没有不必要的节点。支持多个公共云提供商。
  • Vertical Pod Autoscaler:一套组件,可以自动调整在 Kubernetes 集群中运行的 pod 所请求的 CPU 和内存数量。当前状态为 beta 版本。
  • Addon Resizer:Vertical Pod Autoscaler 的简化版本,在基于 Kubernetes 集群中节点数目来修改 deployment 的资源需求量。当前状态为 beta 版本。

oceanbase/oceanbase

Stars: 6.3k License: NOASSERTION

OceanBase Database 是一个分布式关系型数据库,完全由蚂蚁集团开发。它构建在通用的服务器集群上,并基于 Paxos 协议和其分布式结构,提供高可用性和线性扩展性。OceanBase Database 不依赖特定的硬件架构。

  • 透明伸缩性:可以将 OceanBase 集群无缝地扩展到 1500 个节点,处理 PB 级数据和万亿行记录。
  • 超快速度:唯一刷新了 TPC-C 纪录 (707 百万 tmpC) 以及 TPC-H 纪录 (1526 万 QphH @30000GB) 的分布式数据库。
  • 实时运营分析:统一系统支持事务处理与实时运营分析工作负载。
  • 持续可用性:采用 Paxos 共识算法实现零 RPO 且低于8秒 RTO;支持城际/远程灾难恢复,在多个位置进行多活动并避免数据丢失
  • 兼容 MySQL:高度兼容 MySQL,迁移过程中几乎没有或者只需要少量修改。
  • 成本效益:前沿压缩技术节省 70%-90% 存储成本而不影响业务表现。多租户体系结构能够更好利用资源。

uBlockOrigin/uAssets

Stars: 2.9k License: GPL-3.0

uAssets 是用于 uBlock Origin (uBO) 资源的存储库。它接收有关新过滤器或导致网页破坏的现有过滤器的所有报告,并欢迎任何贡献者。

stas00/ml-engineering

Stars: 1.0k License: CC-BY-SA-4.0

这个项目是一个开放的方法论集合,旨在帮助成功训练大型语言模型和多模态模型。

  • 提供了调试软件和硬件故障、容错性、性能优化等方面的指导
  • 支持多节点网络通信和模型并行计算
  • 包含有关张量精度/数据类型、训练超参数和初始化以及可重现性等内容的信息
相关推荐
巴伦是只猫4 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手4 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记5 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元5 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
步、步、为营5 小时前
.net开源库SignalR
开源·.net
生态遥感监测笔记6 小时前
GEE利用已有土地利用数据选取样本点并进行分类
人工智能·算法·机器学习·分类·数据挖掘
刘海东刘海东7 小时前
结构型智能科技的关键可行性——信息型智能向结构型智能的转变(修改提纲)
人工智能·算法·机器学习
路溪非溪8 小时前
机器学习之线性回归
人工智能·机器学习·线性回归
国服第二切图仔8 小时前
文心开源大模型ERNIE-4.5-0.3B-Paddle私有化部署保姆级教程及技术架构探索
百度·架构·开源·文心大模型·paddle·gitcode