java - logstash-logback-encoder 集成 demo

文章目录

  • 前言
    • [java - logstash-logback-encoder 集成 demo](#java - logstash-logback-encoder 集成 demo)
      • [1. logstash-logback-encoder 作用](#1. logstash-logback-encoder 作用)
      • [2. 工程链路上的定位](#2. 工程链路上的定位)
      • [3. demo](#3. demo)

前言

  如果您觉得有用的话,记得给博主点个赞,评论,收藏一键三连啊,写作不易啊^ _ ^。

  而且听说点赞的人每天的运气都不会太差,实在白嫖的话,那欢迎常来啊!!!


java - logstash-logback-encoder 集成 demo

1. logstash-logback-encoder 作用

Logback 的编码器,Java 应用内依赖包,直接输出 JSON 格式日。

2. 工程链路上的定位

bash 复制代码
Java应用(SpringBoot) ↓ logback + logstash-logback-encoder 直接打印JSON日志 Filebeat(采集本地json日志文件)
 → Kafka → Logstash(此时几乎不用grok,只做简单过滤/脱敏) 
 → ES 
 → Kibana查询

3. demo

这里使用的springBoot版本为2.6.15。

pom.xml

bash 复制代码
<!-- JSON 日志输出(filebeat 采集) -->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.3</version>
</dependency>

logback-spring.xml:

bash 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<!--
    yzy-b-demo logback-spring.xml
    traceId 通过 %X{traceId:-} 直接写入 pattern,不依赖 logging.pattern.level
-->
<configuration scan="true" scanPeriod="30 seconds">
    <contextName>logback</contextName>


    <!-- 从 Spring 环境读取应用名 -->
    <springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="yzy-b-demo"/>
    <property name="LOG_HOME" value="log/${APP_NAME}"/>
    <property name="LOG_FILE" value="${LOG_HOME}/${APP_NAME}.log"/>

    <!-- 彩色日志渲染 -->
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>

    <!-- 控制台日志格式(含 traceId) -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(%5p) %clr([%X{traceId:-}]){magenta} %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}"/>


    <!-- 文件日志格式(含 traceId) -->
    <property name="FILE_LOG_PATTERN"
              value="%d{yyyy-MM-dd HH:mm:ss.SSS} %5p [%X{traceId:-}] [%15.15t] %-40.40logger{39} : %msg%n"/>

    <!-- 1. 控制台输出 -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>DEBUG</level>
        </filter>
        <encoder>
            <Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!-- 2. 文件输出(滚动) -->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_FILE}</file>
        <encoder>
            <pattern>${FILE_LOG_PATTERN}</pattern>
            <charset>UTF-8</charset>
        </encoder>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>${LOG_HOME}/%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>15</maxHistory>
            <totalSizeCap>500MB</totalSizeCap>
            <cleanHistoryOnStart>true</cleanHistoryOnStart>
        </rollingPolicy>
    </appender>


    <!-- 3. JSON 文件输出(filebeat 采集,滚动规则与 FILE 一致,字段与 FILE_LOG_PATTERN 内容对应:
     @timestamp=时间 traceId=MDC level=级别 thread_name=线程 logger_name=logger message=消息 stack_trace=异常 -->
    <appender name="FILEBEAT" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_HOME}/filebeat/${APP_NAME}.json</file>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder">
            <!-- 时间格式与现有 pattern 的 %d{yyyy-MM-dd HH:mm:ss.SSS} 一致 -->
            <timestampPattern>yyyy-MM-dd HH:mm:ss.SSS</timestampPattern>
            <!-- MDC 中的 traceId 作为顶层字段输出(默认开启,显式声明便于阅读) -->
            <includeMdc>true</includeMdc>
            <customFields>{"app":"${APP_NAME}"}</customFields>
        </encoder>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>${LOG_HOME}/filebeat/%d{yyyy-MM-dd}.%i.json</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>15</maxHistory>
            <totalSizeCap>500MB</totalSizeCap>
            <cleanHistoryOnStart>true</cleanHistoryOnStart>
        </rollingPolicy>
    </appender>

    <!-- 包级别控制 -->
    <logger name="org.springframework" level="INFO"/>
    <logger name="com.example" level="DEBUG"/>
    <logger name="com.example.common" level="INFO"/>

    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="FILEBEAT"/>

    </root>

</configuration>

启动后的效果如下:

相关推荐
星落梦生1 小时前
SpringAOP基础笔记(7)
java·开发语言
金銀銅鐵2 小时前
带您看懂字节码指令(四):一条指令里有什么
java·jvm
最强小杰3 小时前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai
Flynn Liang3 小时前
流量治理不是限流那么简单:I/O 密集型 Java 服务的 6 层防线
java·微服务·高并发·限流·熔断·系统稳定性·resilience4j
学长毕设3 小时前
基于SpringBoot智慧养老服务平台设计与实现-附源码
java·spring boot·后端
曹牧4 小时前
Java:“刷新雪崩”
java·开发语言
郝学胜-神的一滴4 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David4 小时前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
西西弗Sisyphus5 小时前
C++ explicit 关键字工程实践
开发语言·c++
Forget the Dream5 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai