litellm

第10章（2）——项目四：基于ONNX-Runtime、VAD-WEB和Groq的卡路里助手目前多数语音应用程序的工作方式是单击录制后说话，虽然很有效，但与语音交互最自然的方式是应用程序动态检测用户何时在说话，以便用户无需单击录制即可双向对话。现代语音应用应当突破传统的"单击录音"模式，Gradio通过在ONNX环境运行VAD（Voice Activity Detection：语音活动检测），实现自动检测语音，再结合Whisper语音转录和Groq模型库的高速推理，可以获取动态且低延迟的响应，从而构建语音与文本更直观的交互模式——用户只需随时说话，即可与AI进行交互。

AI - Agent 到底怎么“接模型”？怎么认证？公司网关/本地模型怎么接？随着生成式 AI 的快速发展，AI Agent（智能代理）成为了构建自动化智能系统的重要组成部分。Google 推出的 Agent Development Kit（ADK）是一个开源框架，旨在让开发者更简单、更灵活地构建、测试和部署 AI Agents。它不仅支持多种语言（如 Python、TypeScript、Go 和 Java），还提供了便于与不同语言模型（LLMs）集成的机制。

LiteLLM使用 OpenAI 格式调用 LLM APIs。使用 Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate, Groq (100+ LLMs)。

ollama + autogen排雷语法：<abc>代表参数，实际输入为具体的名字，不需要输入<>注意：当前雷可能随着版本迭代更新掉1、litellm -model ollama/<model>

我是有底线的