ELK的日志解决方案

1. 安装和配置ELK

确保你已经安装了Elasticsearch、Logstash和Kibana。你可以按照官方文档或使用包管理工具进行安装。

Elasticsearch官方配置文档

Kibana官方配置文档

2. Logstash配置

拉取logstash

创建容器

bash 复制代码
docker run -it \
--name logstash \
--privileged \
-p 5044:5044 \
-p 9600:9600 \
--network wn_docker_net \
--ip 172.18.12.72 \
-v /etc/localtime:/etc/localtime \
-d logstash:7.17.7

容器配置

编辑文件

logstash.yml
bash 复制代码
path.logs: /usr/share/logstash/logs
config.test_and_exit: false
config.reload.automatic: false
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.107.130:9200" ]
piplelines.xml
bash 复制代码
- pipeline.id: main
  path.config: "/usr/share/logstash/pipeline/logstash.conf"
logstash.conf
bash 复制代码
input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 5044
    codec => json_lines
  }
}
filter{
}
output {
    elasticsearch {
      hosts => ["192.168.107.130:9200"]       #elasticsearch的ip地址
      index => "ssc-logs"                          #索引名称
    }
    stdout { codec => rubydebug }
}
~                                                                                                             
~                                                                                                             
~      

这个配置文件使用Beats输入插件监听5044端口,并将数据发送到Elasticsearch。你可以根据实际需求添加其他过滤规则。

将配制好的文件拷贝到容器的原文件位置替换原文件

重启容器
bash 复制代码
docker restart logstash
释放端口
bash 复制代码
firewall-cmd --add-port=9600/tcp --permanent
firewall-cmd --add-port=5044/tcp --permanent
firewall-cmd --reload

3. 编写Java代码

引入框架

javascript 复制代码
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.3</version>
</dependency>

创建logback-spring.xml

XML 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL,如果设置为WARN,则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时,配置文档如果发生改变,将会被重新加载,默认值为true -->
<!-- scanPeriod:设置监测配置文档是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒。
                 当scan为true时,此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。 -->
<configuration scan="true" scanPeriod="10 seconds">

    <!--1. 输出到控制台-->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <!--此日志appender是为开发使用,只配置最低级别,控制台输出的日志级别是大于或等于此级别的日志信息-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>DEBUG</level>
        </filter>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern>
            <!-- 设置字符集 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!-- 2. 输出到文件  -->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!--日志文档输出格式-->
        <append>true</append>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern>
            <charset>UTF-8</charset> <!-- 此处设置字符集 -->
        </encoder>

    </appender>

    <!--LOGSTASH config -->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.107.130:5044</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
            <!--自定义时间戳格式, 默认是yyyy-MM-dd'T'HH:mm:ss.SSS<-->
            <timestampPattern>yyyy-MM-dd HH:mm:ss</timestampPattern>
            <customFields>{"appname":"QueryApp"}</customFields>
        </encoder>
    </appender>


    <root level="DEBUG">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="LOGSTASH"/>
    </root>

</configuration>

这里用自己服务器的IP

javascript 复制代码
@Slf4j
@RestController
@RequestMapping("/api/query")
public class QueryController {
    @Autowired
    private IBookDocService ibs;
    @GetMapping("/helloLog")
    public HttpResp helloLog(){
        List<BookDoc> all = ibs.findAll();
        log.debug("从es查询到的数据:{}",all);
        log.debug("我是来测试logstash是否工作的");
        return HttpResp.success(all.subList(0,100));
    }
}

4.配置Kibana

创建一个索引

bash 复制代码
put ssc-logs

创建索引模式

5. 在Kibana中查看日志

打开 Kibana,导航到 "Discover" 页面,你应该能够看到从Java应用程序发送的日志。利用Kibana的搜索和可视化功能,你可以更轻松地分析和监控日志数据。

相关推荐
libraG1 天前
Jenkins打包问题
前端·npm·jenkins
JuiceFS1 天前
从 MLPerf Storage v2.0 看 AI 训练中的存储性能与扩展能力
运维·后端
chen9451 天前
mysql 3节点mgr集群部署
运维·后端
LH_R1 天前
OneTerm开源堡垒机实战(三):功能扩展与效率提升
运维·后端·安全
dessler2 天前
Hadoop HDFS-高可用集群部署
linux·运维·hdfs
少妇的美梦2 天前
logstash教程
运维
chen9452 天前
k8s集群部署vector日志采集器
运维
chen9452 天前
aws ec2部署harbor,使用s3存储
运维
東雪蓮☆3 天前
深入理解 LVS-DR 模式与 Keepalived 高可用集群
linux·运维·服务器·lvs
qq_264220893 天前
LVS负载均衡群集和LVS+Keepalived群集
运维·负载均衡·lvs