litellm

黑客用一首诗控制3400台服务器挖矿一首发布在 GitHub 上的诗，成了黑客操控僵尸网络的“遥控器”。Lumen 旗下 Black Lotus Labs 安全研究人员发现的新型僵尸网络 PoeLLM，正是靠这首诗向全球 3400 台服务器下达指令，主要用来挖矿和窃取加密货币。

Web3&Basketball

litellm 做 Agent 成本监控：3 个账单维度实战上个月我们一个 Agent 跑批任务，月底财务把账单拍在桌上：这个月的模型调用费是上个月的 3 倍。问题是我们根本说不清楚钱花在了哪一步。Agent 不像普通接口调用，它一个任务会拆成几十次 LLM 调用，横跨多个模型和工具，最后只拿到一张按总量的聚合账单。

LiteLLM Docker 部署：config.yaml、Master Key 和 Postgres 配置这次记录 LiteLLM 的 Docker 部署思路。目标不是单纯把服务跑起来，而是把团队多个 AI 应用的模型调用入口收成一层网关：统一 OpenAI 兼容接口、虚拟 Key、预算、限流、路由、fallback、日志和健康检查。

源码部署 LiteLLMLiteLLM 是一个统一的 LLM 网关，支持 100+ 模型提供商，提供负载均衡、认证、缓存、限流等企业级功能。本文介绍如何从源码部署 LiteLLM Proxy。

第10章（2）——项目四：基于ONNX-Runtime、VAD-WEB和Groq的卡路里助手目前多数语音应用程序的工作方式是单击录制后说话，虽然很有效，但与语音交互最自然的方式是应用程序动态检测用户何时在说话，以便用户无需单击录制即可双向对话。现代语音应用应当突破传统的"单击录音"模式，Gradio通过在ONNX环境运行VAD（Voice Activity Detection：语音活动检测），实现自动检测语音，再结合Whisper语音转录和Groq模型库的高速推理，可以获取动态且低延迟的响应，从而构建语音与文本更直观的交互模式——用户只需随时说话，即可与AI进行交互。

AI - Agent 到底怎么“接模型”？怎么认证？公司网关/本地模型怎么接？随着生成式 AI 的快速发展，AI Agent（智能代理）成为了构建自动化智能系统的重要组成部分。Google 推出的 Agent Development Kit（ADK）是一个开源框架，旨在让开发者更简单、更灵活地构建、测试和部署 AI Agents。它不仅支持多种语言（如 Python、TypeScript、Go 和 Java），还提供了便于与不同语言模型（LLMs）集成的机制。

LiteLLM使用 OpenAI 格式调用 LLM APIs。使用 Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate, Groq (100+ LLMs)。

ollama + autogen排雷语法：<abc>代表参数，实际输入为具体的名字，不需要输入<>注意：当前雷可能随着版本迭代更新掉1、litellm -model ollama/<model>

我是有底线的