统一所有 LLM API:支持预算与速率限制 | 开源日报 No.229

BerriAI/litellm

Stars: 6.7k License: NOASSERTION

litellm 是一个使用 OpenAI 格式调用所有 LLM API 的工具。它支持 Bedrock、Azure、OpenAI、Cohere、Anthropic 等 100 多种 LLMs,提供企业级代理服务器和稳定版本 v1.30.2。 主要功能和优势包括:

  • 将输入转换为提供商的完成点、嵌入点和图像生成端点
  • 统一输出,文本响应始终可在 ['choices'][0]['message']['content'] 中获取
  • 跨多个部署(例如 Azure/OpenAI)的重试/回退逻辑
  • 设置每个项目、API 密钥或模型 OpenAI 代理服务器的预算与速率限制
  • 支持更多提供商,如有遗漏,请发起功能请求

通过 LiteLLM 可以实现异步调用,并支持流式传输模型响应及日志观测等功能。

elixir-lang/elixir

Stars: 23.0k License: Apache-2.0

elixir 是用于构建可扩展和易维护应用程序的动态功能语言。

  • 动态、函数式语言
  • 适合构建可扩展和易维护的应用程序
  • 提供安装和文档指南
  • 公布新版本公告并有安全策略保障
  • 遵守行为准则,提倡积极正面交流与友善互助

google/gvisor

Stars: 14.9k License: Apache-2.0

gvisor 是一个为容器设计的应用内核。 该项目解决了在容器中运行不受信任或潜在恶意代码时缺乏额外隔离的问题。它通过实现大部分 Linux 系统接口,并提供一个名为 runsc 的 Open Container Initiative (OCI) 运行时,创建了应用程序与主机内核之间的隔离边界。runsc 运行时与 Docker 和 Kubernetes 集成,使得运行沙盒化容器变得简单。

  • 实现大部分 Linux 系统接口
  • 提供 OCI 运行时 runsc
  • 限制主机内核对应用程序可访问的范围
  • 通过利用现有主机内核功能并作为正常进程运行来实现资源灵活性

doocs/source-code-hunter

Stars: 14.6k License: CC-BY-SA-4.0

source-code-hunter 是一个从源码层面剖析和挖掘互联网行业主流技术底层实现原理的项目,为开发者提供便利以提升技术深度。 该项目主要功能和核心优势包括:

  • 提供对 Spring 全家桶、Mybatis、Netty、Dubbo 框架等中间件的源码解析
  • 帮助开发者深入了解各种技术框架的内部工作原理
  • 记录阅读经验、个人理解及解析,使阅读源码变得简单有趣且有价值

HiddenStrawberry/Crawler_Illegal_Cases_In_China

Stars: 3.3k License: NOASSERTION

Crawler_Illegal_Cases_In_China 是一个用来整理中国大陆爬虫开发者涉诉与违规案例的项目。

  • 帮助爬虫行业从业者了解相关法律,避免触碰数据合规红线
  • 汇总中国大陆爬虫开发者涉诉与违规案例的新闻、资料与法律法规
  • 提供相关法律条文和专业律师观点等信息
相关推荐
chian-ocean8 分钟前
量化加速实战:基于 `ops-transformer` 的 INT8 Transformer 推理
人工智能·深度学习·transformer
那个村的李富贵8 分钟前
从CANN到Canvas:AI绘画加速实战与源码解析
人工智能·ai作画·cann
大大大反派16 分钟前
CANN 生态未来展望:统一框架 `CANN Unified` 与开源协同演进
开源
水月wwww18 分钟前
【深度学习】卷积神经网络
人工智能·深度学习·cnn·卷积神经网络
酷酷的崽79834 分钟前
CANN 开源生态实战:端到端构建高效文本分类服务
分类·数据挖掘·开源
晚霞的不甘43 分钟前
CANN 在工业质检中的亚像素级视觉检测系统设计
人工智能·计算机视觉·架构·开源·视觉检测
island131444 分钟前
CANN HIXL 高性能单边通信库深度解析:PGAS 模型在异构显存上的地址映射与异步传输机制
人工智能·神经网络·架构
前端摸鱼匠1 小时前
YOLOv8 环境配置全攻略:Python、PyTorch 与 CUDA 的和谐共生
人工智能·pytorch·python·yolo·目标检测
结局无敌1 小时前
构建百年工程:cann/ops-nn 的可持续演进之道
人工智能·cann
MSTcheng.1 小时前
CANN算子开发新范式:基于ops-nn探索aclnn两阶段调用架构
人工智能·cann