LiteLLM

伊织code2024-07-26 21:26

文章目录

一、关于 LiteLLM🚅

使用 OpenAI 格式调用 LLM APIs。 使用 Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate, Groq (100+ LLMs)。

LiteLLM 管理一下：

  • 将输入转换到提供者的completion、embedding和image_generation端点
  • 一致的输出，文本响应将始终可用在['choices'][0]['message']['content']
  • 跨多个部署 重试/兜底 逻辑（例如Azure/OpenAI）--- 路由器
  • 设置每个项目的预算和速率限制，api密钥，模型 OpenAI Proxy Server

跳转到OpenAI代理文档
跳转到支持的LLM提供程序

🚨**稳定版发布：**使用带有-stable标签的docker镜像。这些镜像在发布之前经过了12小时的负载测试。

支持更多提供者。缺少提供者或LLM平台，提出特征请求。

企业级

对于需要更好的安全性、用户管理和专业支持的公司

与创始人交谈

这包括：

  • ✅LiteLLM商业许可下的功能：
  • ✅特征优先级
  • ✅自定义集成
  • ✅专业支持-专门的不和谐+松弛
  • ✅自定义SLA
  • ✅单点登录的安全访问

我们为什么要建造这个？

  • 需要简单：我们的代码开始变得极其复杂，在Azure、OpenAI和Cohere之间管理和转换调用。

二、用法

重要提示：

LiteLLM v1.0.0现在需要openai>=1.0.0。迁移指南在这里

LiteLLM v1.40.14+现在需要pydantic>=2.0.0。无需更改。

colab 示例：https://colab.research.google.com/github/BerriAI/litellm/blob/main/cookbook/liteLLM_Getting_Started.ipynb

安装

shell 复制代码 
pip install litellm
python 复制代码 
from litellm import completion
import os
***
## set ENV variables
os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["COHERE_API_KEY"] = "your-cohere-key"

messages = [{ "content": "Hello, how are you?","role": "user"}]

# openai call
response = completion(model="gpt-3.5-turbo", messages=messages)

# cohere call
response = completion(model="command-nightly", messages=messages)
print(response)

使用 model=<provider_name>/<model_name> 调用提供程序支持的任何模型。

这里可能有特定于提供程序的详细信息，因此详情可见 provider docs for more information。

异步

详见文档：https://docs.litellm.ai/docs/completion/stream#async-completion

python 复制代码 
from litellm import acompletion
import asyncio

async def test_get_response():
    user_message = "Hello, how are you?"
    messages = [{"content": user_message, "role": "user"}]
    response = await acompletion(model="gpt-3.5-turbo", messages=messages)
    return response

response = asyncio.run(test_get_response())
print(response)

流

详见文档：https://docs.litellm.ai/docs/completion/stream

LiteLLM支持流式传输模型响应，传递stream=True以获得流式迭代器响应。

所有模型都支持流式传输（Bedrock、Huggingface、ToketherAI、Azure、OpenAI等）

python 复制代码 
from litellm import completion
response = completion(model="gpt-3.5-turbo", messages=messages, stream=True)
for part in response:
    print(part.choices[0].delta.content or "")

# claude 2
response = completion('claude-2', messages, stream=True)
for part in response:
    print(part.choices[0].delta.content or "")

日志可观测性

详见文档：https://docs.litellm.ai/docs/observability/callbacks

LiteLLM公开预定义的回调以将数据发送到Lunary、Langfuse、DynamoDB、s3 Buckets、Helicone、Prompttier、Traceloop、Athina、Slack

python 复制代码 
from litellm import completion
***
## set env variables for logging tools
os.environ["LUNARY_PUBLIC_KEY"] = "your-lunary-public-key"
os.environ["HELICONE_API_KEY"] = "your-helicone-auth-key"
os.environ["LANGFUSE_PUBLIC_KEY"] = ""
os.environ["LANGFUSE_SECRET_KEY"] = ""
os.environ["ATHINA_API_KEY"] = "your-athina-api-key"

os.environ["OPENAI_API_KEY"]

# set callbacks
litellm.success_callback = ["lunary", "langfuse", "athina", "helicone"] # log input/output to lunary, langfuse, supabase, athina, helicone etc

#openai call
response = completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}])

三、OpenAI代理

详见文档：https://docs.litellm.ai/docs/simple_proxy

跨多个项目跟踪支出+负载平衡

托管代理（预览版）

代理提供：

  1. Hooks for auth
  2. Hooks for logging
  3. Cost tracking
  4. Rate Limiting

📖代理端点

详见 Swagger Docs : https://litellm-api.up.railway.app/

快速启动代理-CLI

shell 复制代码 
pip install 'litellm[proxy]'
第1步：启动litellm代理
shell 复制代码 
$ litellm --model huggingface/bigcode/starcoder

#INFO: Proxy running on http://0.0.0.0:4000
第2步：向代理发出ChatCompletions请求
python 复制代码 
import openai # openai v1.0.0+
client = openai.OpenAI(api_key="anything",base_url="http://0.0.0.0:4000") # set proxy to base_url
# request sent to model set on litellm proxy, `litellm --model`
response = client.chat.completions.create(model="gpt-3.5-turbo", messages = [
    {
        "role": "user",
        "content": "this is a test request, write a short poem"
    }
])

print(response)

代理密钥管理

详见：https://docs.litellm.ai/docs/proxy/virtual_keys

将代理与Postgres DB连接以创建代理密钥

shell 复制代码 
# Get the code
git clone https://github.com/BerriAI/litellm

# Go to folder
cd litellm

# Add the master key - you can change this after setup
echo 'LITELLM_MASTER_KEY="sk-1234"' > .env

# Add the litellm salt key - you cannot change this after adding a model
# It is used to encrypt / decrypt your LLM API Key credentials
# We recommned - https://1password.com/password-generator/ 
# password generator to get a random hash for litellm salt key
echo 'LITELLM_SALT_KEY="sk-1234"' > .env

source .env

# Start
docker-compose up

UI on /ui on your proxy server

跨多个项目设置预算和费率限制 POST /key/generate

请求
shell 复制代码 
curl 'http://0.0.0.0:4000/key/generate' \
--header 'Authorization: Bearer sk-1234' \
--header 'Content-Type: application/json' \
--data-raw '{"models": ["gpt-3.5-turbo", "gpt-4", "claude-2"], "duration": "20m","metadata": {"user": "ishaan@berri.ai", "team": "core-infra"}}'

预期反应

json 复制代码 
{
    "key": "sk-kdEXbIqZRwEeEiHwdg7sFA", # Bearer token
    "expires": "2023-11-19T01:38:25.838000+00:00" # datetime object
}

四、支持的 Providers

详见文档： https://docs.litellm.ai/docs/providers

Provider Completion Streaming Async Completion Async Streaming Async Embedding Async Image Generation
openai ✅ ✅ ✅ ✅ ✅ ✅
azure ✅ ✅ ✅ ✅ ✅ ✅
aws - sagemaker ✅ ✅ ✅ ✅ ✅
aws - bedrock ✅ ✅ ✅ ✅ ✅
google - vertex_ai ✅ ✅ ✅ ✅ ✅ ✅
google - palm ✅ ✅ ✅ ✅
google AI Studio - gemini ✅ ✅ ✅ ✅
mistral ai api ✅ ✅ ✅ ✅ ✅
cloudflare AI Workers ✅ ✅ ✅ ✅
cohere ✅ ✅ ✅ ✅ ✅
anthropic ✅ ✅ ✅ ✅
empower ✅ ✅ ✅ ✅
huggingface ✅ ✅ ✅ ✅ ✅
replicate ✅ ✅ ✅ ✅
together_ai ✅ ✅ ✅ ✅
openrouter ✅ ✅ ✅ ✅
ai21 ✅ ✅ ✅ ✅
baseten ✅ ✅ ✅ ✅
vllm ✅ ✅ ✅ ✅
nlp_cloud ✅ ✅ ✅ ✅
aleph alpha ✅ ✅ ✅ ✅
petals ✅ ✅ ✅ ✅
ollama ✅ ✅ ✅ ✅ ✅
deepinfra ✅ ✅ ✅ ✅
perplexity-ai ✅ ✅ ✅ ✅
Groq AI ✅ ✅ ✅ ✅
Deepseek ✅ ✅ ✅ ✅
anyscale ✅ ✅ ✅ ✅
IBM - watsonx.ai ✅ ✅ ✅ ✅ ✅
voyage ai ✅
[xinference Xorbits Inference] ✅
FriendliAI ✅ ✅ ✅ ✅

五、贡献

贡献：在本地克隆repo->进行更改->提交带有更改的PR。

以下是如何在本地修改repo：

第1步：克隆repo

shell 复制代码 
git clone https://github.com/BerriAI/litellm.git

第2步：导航到项目中，并安装依赖项：

shell 复制代码 
cd litellm
poetry install -E extra_proxy -E proxy

第3步：测试您的更改：

shell 复制代码 
cd litellm/tests # pwd: Documents/litellm/litellm/tests
poetry run flake8
poetry run pytest .

第4步：提交包含更改的PR！🚀

  • 将您的fork推送到您的GitHub存储库
  • 从那里提交PR

2024-07-25（四）

相关推荐
hunteritself9 小时前
AI Weekly『12月16-22日』：OpenAI公布o3，谷歌发布首个推理模型，GitHub Copilot免费版上线！
人工智能·gpt·chatgpt·github·openai·copilot
新智元17 小时前
LeCun 八年前神预言，大模型路线再颠覆？OpenAI 宣告：强化学习取得稳定性突破
人工智能·openai
伯牙碎琴21 小时前
智能体实战（需求分析助手）二、需求分析助手第一版实现（支持需求提取、整理、痛点分析、需求分类、优先级分析、需求文档生成等功能）
ai·大模型·agent·需求分析·智能体
程序员小灰2 天前
OpenAI正式发布o3：通往AGI的路上，已经没有了任何阻碍
人工智能·aigc·openai
that's boy3 天前
ChatGPT Search开放：实时多模态搜索新体验
人工智能·gpt·chatgpt·openai·midjourney
blzlh6 天前
用Prompt构建AI电商客服：终于挤出时间摸鱼了！！
前端·javascript·openai
樱花的浪漫6 天前
Tree-of-Counterfactual Prompting for Zero-Shot Stance Detection
人工智能·深度学习·神经网络·机器学习·自然语言处理·知识图谱·agent
yanlele8 天前
企业级 AI Coding 已经来临， 目前其发展可能已经超越想象，对此我的一些思考
前端·后端·openai
hunteritself9 天前
OpenAI直播发布第5天：ChatGPT+Siri=新Apple Intelligence！
人工智能·gpt·深度学习·chatgpt·openai
山顶夕景9 天前
【LLM-Agent】ReWOO模式和ReAct的区别
大模型·agent·推理·rewoo
热门推荐
01〔AI 绘画〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04DisplayPort AltMode On Type-c协议_Ver2.0(学习笔记)05校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站06Docker 夺命连环 15 问076个主流的工业3D管道设计软件08基于大语言模型（LLM）的合成数据生成、策展和评估的综述09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10树莓派 5 AI 套件（Hailo-8L）使用教程