LangFuse：开源LLM工程平台的革新实践

文章目录

[一架构设计与技术栈](#一架构设计与技术栈)
[二增强型监控能力](#二增强型监控能力)
[三提示词工程支持（新增）](#三提示词工程支持（新增）)
[四性能优化实践](#四性能优化实践)
[五 LangFuse部署（docker）和代码集成](#五 LangFuse部署（docker）和代码集成)
- [5.1 LangFuse平台部署](#5.1 LangFuse平台部署)
- [5.2 LangFuse代码集成和检测体验](#5.2 LangFuse代码集成和检测体验)

一架构设计与技术栈

LangFuse采用模块化架构设计，核心组件包括：

追踪数据采集层：支持Python/Node.js等多语言SDK，可无缝接入主流框架（LlamaIndex、LangChain）
分析引擎：基于PostgreSQL实现毫秒级trace查询，支持RBAC权限管理体系
可视化界面：内置动态仪表盘，支持自定义数据聚合维度（时间窗口/成本类型/异常类型）

二增强型监控能力

实时告警系统：支持设置阈值触发告警（如响应时间>5s、错误率>2%）；提供API异常类型聚类分析，自动识别高频错误模式
深度日志分析：原生集成OpenTelemetry协议，兼容Prometheus/Grafana监控栈；支持日志与trace的上下文关联检索，实现端到端问题溯源

三提示词工程支持（新增）

版本控制体系：提供prompt变更历史对比视图，支持语义差异分析；可关联测试数据集，验证不同prompt版本的效果差异
AB测试框架：支持并行运行多个prompt模板，自动生成准确性/响应速度对比报告；内置统计学显著性检验，避免随机性导致的误判

四性能优化实践

数据压缩策略
- 采用列式存储压缩trace日志，存储成本降低72%
- 支持按时间分区自动归档历史数据
缓存机制
- 高频查询结果缓存（TTL可配置），降低数据库负载
- 向量检索结果缓存复用，减少重复计算

五 LangFuse部署（docker）和代码集成

5.1 LangFuse平台部署

硬件需要至少需要4GB的运行空间，最好是x86平台的机器。需要安装好docker工具，配置好国内源镜像。
访问https://github.com/langfuse/langfuse，可以选择下载整个项目或单个docker-compose.yml。
然后将其上传到服务器目录，如/opt/1panel/apps/langfuse，在终端执行如下命令：
bash 复制代码
```
cd /opt/1panel/apps/langfuse
```
bash 复制代码
```
docker-compose up -d
```
访问ip:3000，创建账号并登录，创建新的项目，和API Keys。
点击创建API key，执行结果如下：
使用pip安装langfuse工具包，选择对应的语言或开发框架，复制链接信息

5.2 LangFuse代码集成和检测体验

python 复制代码

import os
from langchain_openai import ChatOpenAI
from langfuse.callback import CallbackHandler
from langchain.chains import LLMChain  # 导入链模块
from langchain_core.prompts import ChatPromptTemplate  # 导入提示模板

# 配置 API 易环境
os.environ["OPENAI_API_KEY"] = "hk-xxx"  # 从API易后台获取
os.environ["OPENAI_API_BASE"] = "https://api.openai-hk.com/v1"  # API易基础URL

# 配置Langfuse
langfuse_handler = CallbackHandler(
    public_key="pk-lf-xxx",
    secret_key="sk-lf-xx",
    host="http://xxx:3000"
)

# 创建一个大语言模型
model = ChatOpenAI(model="gpt-3.5-turbo")

# 定义提示模板
prompt = ChatPromptTemplate.from_messages([
    ("system", "{system_message}"),
    ("user", "{user_input}")
])

# 创建链
chain = LLMChain(llm=model, prompt=prompt)

# 定义传递给模型的消息内容
system_message = "把下面的语句翻译为英文。"
user_input = "无人扶我青云志，我只踏雪至山巅"

# 调用链并打印结果
response = chain.invoke(
    {"system_message": system_message, "user_input": user_input},
    config={"callbacks": [langfuse_handler]}
)

print(response.get("text"))  # 输出模型生成的内容

执行结果：

bash 复制代码

No one supports my ambition to reach the sky; I will tread through the snow to the mountaintop on my own.

可视化面板记录效果：
执行过程数据追踪

LangFuse：开源LLM工程平台的革新实践

文章目录

一 架构设计与技术栈

二 增强型监控能力

三 提示词工程支持（新增）

四 性能优化实践

五 LangFuse部署（docker）和代码集成

5.1 LangFuse平台部署

5.2 LangFuse代码集成和检测体验

一架构设计与技术栈

二增强型监控能力

三提示词工程支持（新增）

四性能优化实践