Langfuse：开源的大模型工程可观测平台

摘要

Langfuse 是一个开源的 LLM 工程平台，帮助团队协作开发、监控、评估和调试 AI 应用。它把追踪(Tracing)、提示词管理、评估、数据集和 Playground 整合到同一个系统里，既可以用云端托管版，也能在 5 分钟内用 Docker Compose 自托管。项目由 YC W23 孵化，基于 ClickHouse 构建，已被大量开源 AI 项目采用为默认可观测方案。

核心优势

全链路可观测：不仅追踪单次 LLM 调用，还能记录检索、Embedding、Agent 决策等应用逻辑的完整调用链，方便定位复杂会话中的问题。
提示词集中管理：版本控制 + 服务端/客户端强缓存，迭代提示词不会给线上应用增加延迟。
评估方式灵活：支持 LLM-as-a-judge、代码评估器、用户反馈采集、人工标注，以及通过 API/SDK 自定义评估流水线，覆盖开发到上线全周期。
数据集驱动测试：可以把线上产生的真实案例沉淀为数据集，用于回归测试、上线前评测和结构化实验。
Playground 联动追踪：在追踪页面看到一次糟糕的模型输出，可以直接跳转到 Playground 复现并调整提示词与参数，缩短反馈闭环。
生态集成广：官方 SDK 覆盖 Python/JS-TS，并原生对接 OpenAI、LangChain、LlamaIndex、Haystack、LiteLLM、Vercel AI SDK、Mastra 等主流框架，几乎不需要改动业务代码即可接入。
部署方式自由：Langfuse Cloud 提供开箱即用的免费套餐；自托管则支持本地 Docker Compose、单机 VM、Kubernetes(Helm)，以及 AWS/Azure/GCP 的 Terraform 模板，满足从个人项目到企业合规的不同需求。
License 透明 ：除 ee 目录外，整个仓库以 MIT 协议开源，遥测数据默认脱敏且可通过环境变量关闭。

面向人群

正在开发 LLM/Agent 应用、需要排查复杂调用链问题的工程团队
需要对提示词做版本管理和 A/B 迭代的产品与算法团队
希望建立评估体系（自动评分 + 人工标注）来保证模型输出质量的团队
出于数据合规要求，倾向于自托管而非依赖第三方 SaaS 的企业
在 LangChain、LlamaIndex、Vercel AI SDK 等框架上已有应用，想快速补齐可观测能力的开发者

使用方法

快速开始（云端或自托管）

注册 Langfuse Cloud 账号，或参考自托管文档在本地部署
创建一个新项目
在项目设置中生成 API 密钥

自托管最快的方式是本地 Docker Compose：

bash 复制代码

git clone --depth=1 https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up

生产环境推荐使用 Kubernetes（Helm）或官方提供的 AWS / Azure / GCP Terraform 模板。

记录第一条 LLM 调用

Python 场景下，用 @observe() 装饰器即可追踪任意函数，配合官方 OpenAI 集成可以自动捕获模型调用的全部参数：

bash 复制代码

pip install langfuse openai

bash 复制代码

LANGFUSE_SECRET_KEY="sk-lf-..."
LANGFUSE_PUBLIC_KEY="pk-lf-..."
LANGFUSE_BASE_URL="https://cloud.langfuse.com/"  # 欧洲区
# LANGFUSE_BASE_URL="https://us.cloud.langfuse.com/"  # 美国区

python 复制代码

from langfuse import observe
from langfuse.openai import openai  # OpenAI 集成

@observe()
def story():
    return openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": "What is Langfuse?"}],
    ).choices[0].message.content

@observe()
def main():
    return story()

main()

运行后即可在 Langfuse 控制台看到完整的调用链和会话记录。

进阶用法

非 OpenAI 场景：可以通过 LiteLLM 代理接入 Anthropic、Azure、Cohere、Ollama、VLLM 等上百种模型，或使用 LangChain / LlamaIndex 的回调处理器自动埋点。
构建评估流水线：结合 Datasets 功能，把生产环境的典型 case 沉淀为测试集，配合 LLM-as-a-judge 或自定义代码评估器做持续回归。
团队协作：借助提示词版本管理与评论功能，产品、算法、工程可以在同一套追踪数据上协作调优，而不必来回传截图。

Langfuse 目前是许多开源 AI 项目（如 Dify、Flowise、CrewAI 生态项目等）的默认可观测组件，如果你的团队正在为 LLM 应用寻找一套开源、可自托管、又足够全面的工程平台，值得认真评估。