统一所有 LLM API:支持预算与速率限制 | 开源日报 No.229

BerriAI/litellm

Stars: 6.7k License: NOASSERTION

litellm 是一个使用 OpenAI 格式调用所有 LLM API 的工具。它支持 Bedrock、Azure、OpenAI、Cohere、Anthropic 等 100 多种 LLMs,提供企业级代理服务器和稳定版本 v1.30.2。 主要功能和优势包括:

  • 将输入转换为提供商的完成点、嵌入点和图像生成端点
  • 统一输出,文本响应始终可在 ['choices'][0]['message']['content'] 中获取
  • 跨多个部署(例如 Azure/OpenAI)的重试/回退逻辑
  • 设置每个项目、API 密钥或模型 OpenAI 代理服务器的预算与速率限制
  • 支持更多提供商,如有遗漏,请发起功能请求

通过 LiteLLM 可以实现异步调用,并支持流式传输模型响应及日志观测等功能。

elixir-lang/elixir

Stars: 23.0k License: Apache-2.0

elixir 是用于构建可扩展和易维护应用程序的动态功能语言。

  • 动态、函数式语言
  • 适合构建可扩展和易维护的应用程序
  • 提供安装和文档指南
  • 公布新版本公告并有安全策略保障
  • 遵守行为准则,提倡积极正面交流与友善互助

google/gvisor

Stars: 14.9k License: Apache-2.0

gvisor 是一个为容器设计的应用内核。 该项目解决了在容器中运行不受信任或潜在恶意代码时缺乏额外隔离的问题。它通过实现大部分 Linux 系统接口,并提供一个名为 runsc 的 Open Container Initiative (OCI) 运行时,创建了应用程序与主机内核之间的隔离边界。runsc 运行时与 Docker 和 Kubernetes 集成,使得运行沙盒化容器变得简单。

  • 实现大部分 Linux 系统接口
  • 提供 OCI 运行时 runsc
  • 限制主机内核对应用程序可访问的范围
  • 通过利用现有主机内核功能并作为正常进程运行来实现资源灵活性

doocs/source-code-hunter

Stars: 14.6k License: CC-BY-SA-4.0

source-code-hunter 是一个从源码层面剖析和挖掘互联网行业主流技术底层实现原理的项目,为开发者提供便利以提升技术深度。 该项目主要功能和核心优势包括:

  • 提供对 Spring 全家桶、Mybatis、Netty、Dubbo 框架等中间件的源码解析
  • 帮助开发者深入了解各种技术框架的内部工作原理
  • 记录阅读经验、个人理解及解析,使阅读源码变得简单有趣且有价值

HiddenStrawberry/Crawler_Illegal_Cases_In_China

Stars: 3.3k License: NOASSERTION

Crawler_Illegal_Cases_In_China 是一个用来整理中国大陆爬虫开发者涉诉与违规案例的项目。

  • 帮助爬虫行业从业者了解相关法律,避免触碰数据合规红线
  • 汇总中国大陆爬虫开发者涉诉与违规案例的新闻、资料与法律法规
  • 提供相关法律条文和专业律师观点等信息
相关推荐
乌旭1 小时前
量子计算与GPU的异构加速:基于CUDA Quantum的混合编程实践
人工智能·pytorch·分布式·深度学习·ai·gpu算力·量子计算
deephub2 小时前
CLIMB自举框架:基于语义聚类的迭代数据混合优化及其在LLM预训练中的应用
人工智能·深度学习·大语言模型·聚类
思通数科AI全行业智能NLP系统3 小时前
AI视频技术赋能幼儿园安全——教师离岗报警系统的智慧守护
大数据·人工智能·安全·目标检测·目标跟踪·自然语言处理·ocr
struggle20254 小时前
deepseek-cli开源的强大命令行界面,用于与 DeepSeek 的 AI 模型进行交互
人工智能·开源·自动化·交互·deepseek
ocr_sinosecu15 小时前
OCR定制识别:解锁文字识别的无限可能
人工智能·机器学习·ocr
奋斗者1号5 小时前
分类数据处理全解析:从独热编码到高维特征优化
人工智能·机器学习·分类
契合qht53_shine5 小时前
深度学习 视觉处理(CNN) day_02
人工智能·深度学习·cnn
HhhDreamof_5 小时前
云贝餐饮 最新 V3 独立连锁版 全开源 多端源码 VUE 可二开
前端·vue.js·开源
就叫飞六吧6 小时前
如何判断你的PyTorch是GPU版还是CPU版?
人工智能·pytorch·python
zsffuture6 小时前
opencv 读取3G大图失败,又不想重新编译opencv ,可以如下操作
人工智能·opencv·webpack