统一所有 LLM API:支持预算与速率限制 | 开源日报 No.229

BerriAI/litellm

Stars: 6.7k License: NOASSERTION

litellm 是一个使用 OpenAI 格式调用所有 LLM API 的工具。它支持 Bedrock、Azure、OpenAI、Cohere、Anthropic 等 100 多种 LLMs,提供企业级代理服务器和稳定版本 v1.30.2。 主要功能和优势包括:

  • 将输入转换为提供商的完成点、嵌入点和图像生成端点
  • 统一输出,文本响应始终可在 ['choices'][0]['message']['content'] 中获取
  • 跨多个部署(例如 Azure/OpenAI)的重试/回退逻辑
  • 设置每个项目、API 密钥或模型 OpenAI 代理服务器的预算与速率限制
  • 支持更多提供商,如有遗漏,请发起功能请求

通过 LiteLLM 可以实现异步调用,并支持流式传输模型响应及日志观测等功能。

elixir-lang/elixir

Stars: 23.0k License: Apache-2.0

elixir 是用于构建可扩展和易维护应用程序的动态功能语言。

  • 动态、函数式语言
  • 适合构建可扩展和易维护的应用程序
  • 提供安装和文档指南
  • 公布新版本公告并有安全策略保障
  • 遵守行为准则,提倡积极正面交流与友善互助

google/gvisor

Stars: 14.9k License: Apache-2.0

gvisor 是一个为容器设计的应用内核。 该项目解决了在容器中运行不受信任或潜在恶意代码时缺乏额外隔离的问题。它通过实现大部分 Linux 系统接口,并提供一个名为 runsc 的 Open Container Initiative (OCI) 运行时,创建了应用程序与主机内核之间的隔离边界。runsc 运行时与 Docker 和 Kubernetes 集成,使得运行沙盒化容器变得简单。

  • 实现大部分 Linux 系统接口
  • 提供 OCI 运行时 runsc
  • 限制主机内核对应用程序可访问的范围
  • 通过利用现有主机内核功能并作为正常进程运行来实现资源灵活性

doocs/source-code-hunter

Stars: 14.6k License: CC-BY-SA-4.0

source-code-hunter 是一个从源码层面剖析和挖掘互联网行业主流技术底层实现原理的项目,为开发者提供便利以提升技术深度。 该项目主要功能和核心优势包括:

  • 提供对 Spring 全家桶、Mybatis、Netty、Dubbo 框架等中间件的源码解析
  • 帮助开发者深入了解各种技术框架的内部工作原理
  • 记录阅读经验、个人理解及解析,使阅读源码变得简单有趣且有价值

HiddenStrawberry/Crawler_Illegal_Cases_In_China

Stars: 3.3k License: NOASSERTION

Crawler_Illegal_Cases_In_China 是一个用来整理中国大陆爬虫开发者涉诉与违规案例的项目。

  • 帮助爬虫行业从业者了解相关法律,避免触碰数据合规红线
  • 汇总中国大陆爬虫开发者涉诉与违规案例的新闻、资料与法律法规
  • 提供相关法律条文和专业律师观点等信息
相关推荐
诸神缄默不语4 分钟前
如何在服务器上克隆、pull、push GitHub私有项目
运维·github
视觉&物联智能7 分钟前
【杂谈】-为什么Python是AI的首选语言
开发语言·人工智能·python·深度学习·机器学习
GitCode官方21 分钟前
GitCode 光引计划投稿|JavaVision:引领全能视觉智能识别新纪元
人工智能·ai·gitcode
Sherry Wangs28 分钟前
PromptGIP:Unifying lmage Processing as Visual Prompting Question Answering
人工智能·深度学习·图像增强·数字人技术·all-in-one
weixin_4462608529 分钟前
如何与AI对话,写好Prompt
人工智能·prompt
IT古董30 分钟前
【机器学习】机器学习的基本分类-强化学习-模型预测控制(MPC:Model Predictive Control)
人工智能·机器学习·分类
匹马夕阳33 分钟前
大模型(LLM)提示工程(Prompt Engineering)初识
人工智能·语言模型·prompt
十年一梦实验室33 分钟前
【C++】sophus : rxso3.hpp 实现了 3D 空间中的旋转和缩放操作的 RxSO3 类 (二十一)
开发语言·c++·人工智能·算法·3d
地中海~34 分钟前
Certifying LLM Safety against Adversarial Prompting
人工智能·笔记·language model·攻防
西岸行者1 小时前
捋一捋相关性运算,以及DTD和NLP中的应用
人工智能·算法·自然语言处理·信号处理