使用 Logstash 收集和处理 FastAPI 应用的日志

Logstash 是一个强大的数据处理管道，可以从多个来源收集数据，转换数据，并将其发送到存储系统中，如 Elasticsearch。以下是如何使用 Logstash 收集和处理 FastAPI 应用的日志的详细步骤。

什么是 Logstash？

Logstash 是一个开源的数据收集引擎，支持多种类型的输入数据，包括日志文件、系统消息队列、数据库等。它可以对数据进行各种转换和处理，然后将数据发送到各种目标，如 Elasticsearch、Kafka、邮件通知等

步骤 1：安装必要的包

首先，需要安装 python-logstash-async 包来异步发送日志：

csharp 复制代码

bash
pip install python-logstash-async

步骤 2：配置 FastAPI 应用

在你的 FastAPI 应用中，配置日志处理器以将日志发送到 Logstash。

python 复制代码

python
from fastapi import FastAPI, Request
from logstash_async.handler import AsynchronousLogstashHandler
import logging

app = FastAPI()

# 配置日志处理器
host = 'localhost'
port = 6000

logger = logging.getLogger("fastapi_logger")
logger.setLevel(logging.INFO)

async_handler = AsynchronousLogstashHandler(host, port, database_path=None)
logger.addHandler(async_handler)

# 定义一个中间件来捕获请求和响应日志
@app.middleware("http")
async def log_requests(request: Request, call_next):
    logger.info(f"Request: {request.method} {request.url}")
    
    response = await call_next(request)
    
    # 记录响应日志
    logger.info(f"Response: {response.status_code} {response.body}")
    
    return response

@app.get("/")
async def root():
    return {"message": "Hello World"}

步骤 3：配置 Logstash

在 Logstash 配置文件 (logstash.conf) 中，设置输入为 TCP，并指定 JSON 编解码器：

ini 复制代码

text
input {
  tcp {
    port => 6000
    codec => json
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "fastapi_logs"
  }
}

步骤 4：运行 Logstash

启动 Logstash 服务：

复制代码

bash
logstash -f logstash.conf

步骤 5：运行 FastAPI 应用

启动你的 FastAPI 应用：

css 复制代码

bash
uvicorn main:app --reload

访问你的 FastAPI 应用时，响应日志将被发送到 Logstash，并存储在 Elasticsearch 中。通过 Kibana，你可以实时查看和分析这些日志。

优势

使用 python-logstash-async 包可以异步发送日志，这意味着你的应用不会因为日志发送而阻塞，从而提高了性能。同时，Logstash 的灵活配置可以帮助你处理和转换日志数据，以便更好地存储和分析。

示例代码和配置

FastAPI 应用配置：上述 Python 代码。
Logstash 配置 ：上述 logstash.conf 文件内容。
性能指标：异步日志发送可以提高应用性能，减少阻塞时间。

使用 Logstash 收集和处理 FastAPI 应用的日志