java - logstash-logback-encoder 集成 demo

文章目录

前言
- [java - logstash-logback-encoder 集成 demo](#java - logstash-logback-encoder 集成 demo)
- - [1. logstash-logback-encoder 作用](#1. logstash-logback-encoder 作用)
  - [2. 工程链路上的定位](#2. 工程链路上的定位)
  - [3. demo](#3. demo)

前言

如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊^ _ ^。

而且听说点赞的人每天的运气都不会太差，实在白嫖的话，那欢迎常来啊!!!

java - logstash-logback-encoder 集成 demo

1. logstash-logback-encoder 作用

Logback 的编码器，Java 应用内依赖包，直接输出 JSON 格式日。

2. 工程链路上的定位

bash 复制代码

Java应用(SpringBoot) ↓ logback + logstash-logback-encoder 直接打印JSON日志 Filebeat(采集本地json日志文件)
 → Kafka → Logstash（此时几乎不用grok，只做简单过滤/脱敏） 
 → ES 
 → Kibana查询

3. demo

这里使用的springBoot版本为2.6.15。

pom.xml

bash 复制代码

<!-- JSON 日志输出（filebeat 采集） -->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.3</version>
</dependency>

logback-spring.xml:

bash 复制代码

<?xml version="1.0" encoding="UTF-8"?>
<!--
    yzy-b-demo logback-spring.xml
    traceId 通过 %X{traceId:-} 直接写入 pattern，不依赖 logging.pattern.level
-->
<configuration scan="true" scanPeriod="30 seconds">
    <contextName>logback</contextName>


    <!-- 从 Spring 环境读取应用名 -->
    <springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="yzy-b-demo"/>
    <property name="LOG_HOME" value="log/${APP_NAME}"/>
    <property name="LOG_FILE" value="${LOG_HOME}/${APP_NAME}.log"/>

    <!-- 彩色日志渲染 -->
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>

    <!-- 控制台日志格式（含 traceId） -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(%5p) %clr([%X{traceId:-}]){magenta} %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}"/>


    <!-- 文件日志格式（含 traceId） -->
    <property name="FILE_LOG_PATTERN"
              value="%d{yyyy-MM-dd HH:mm:ss.SSS} %5p [%X{traceId:-}] [%15.15t] %-40.40logger{39} : %msg%n"/>

    <!-- 1. 控制台输出 -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>DEBUG</level>
        </filter>
        <encoder>
            <Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!-- 2. 文件输出（滚动） -->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_FILE}</file>
        <encoder>
            <pattern>${FILE_LOG_PATTERN}</pattern>
            <charset>UTF-8</charset>
        </encoder>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>${LOG_HOME}/%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>15</maxHistory>
            <totalSizeCap>500MB</totalSizeCap>
            <cleanHistoryOnStart>true</cleanHistoryOnStart>
        </rollingPolicy>
    </appender>


    <!-- 3. JSON 文件输出（filebeat 采集，滚动规则与 FILE 一致，字段与 FILE_LOG_PATTERN 内容对应：
     @timestamp=时间 traceId=MDC level=级别 thread_name=线程 logger_name=logger message=消息 stack_trace=异常 -->
    <appender name="FILEBEAT" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_HOME}/filebeat/${APP_NAME}.json</file>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder">
            <!-- 时间格式与现有 pattern 的 %d{yyyy-MM-dd HH:mm:ss.SSS} 一致 -->
            <timestampPattern>yyyy-MM-dd HH:mm:ss.SSS</timestampPattern>
            <!-- MDC 中的 traceId 作为顶层字段输出（默认开启，显式声明便于阅读） -->
            <includeMdc>true</includeMdc>
            <customFields>{"app":"${APP_NAME}"}</customFields>
        </encoder>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>${LOG_HOME}/filebeat/%d{yyyy-MM-dd}.%i.json</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>15</maxHistory>
            <totalSizeCap>500MB</totalSizeCap>
            <cleanHistoryOnStart>true</cleanHistoryOnStart>
        </rollingPolicy>
    </appender>

    <!-- 包级别控制 -->
    <logger name="org.springframework" level="INFO"/>
    <logger name="com.example" level="DEBUG"/>
    <logger name="com.example.common" level="INFO"/>

    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="FILEBEAT"/>

    </root>

</configuration>

启动后的效果如下: