ELK的日志解决方案

1. 安装和配置ELK

确保你已经安装了Elasticsearch、Logstash和Kibana。你可以按照官方文档或使用包管理工具进行安装。

Elasticsearch官方配置文档

Kibana官方配置文档

2. Logstash配置

拉取logstash

创建容器

bash 复制代码
docker run -it \
--name logstash \
--privileged \
-p 5044:5044 \
-p 9600:9600 \
--network wn_docker_net \
--ip 172.18.12.72 \
-v /etc/localtime:/etc/localtime \
-d logstash:7.17.7

容器配置

编辑文件

logstash.yml
bash 复制代码
path.logs: /usr/share/logstash/logs
config.test_and_exit: false
config.reload.automatic: false
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.107.130:9200" ]
piplelines.xml
bash 复制代码
- pipeline.id: main
  path.config: "/usr/share/logstash/pipeline/logstash.conf"
logstash.conf
bash 复制代码
input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 5044
    codec => json_lines
  }
}
filter{
}
output {
    elasticsearch {
      hosts => ["192.168.107.130:9200"]       #elasticsearch的ip地址
      index => "ssc-logs"                          #索引名称
    }
    stdout { codec => rubydebug }
}
~                                                                                                             
~                                                                                                             
~      

这个配置文件使用Beats输入插件监听5044端口,并将数据发送到Elasticsearch。你可以根据实际需求添加其他过滤规则。

将配制好的文件拷贝到容器的原文件位置替换原文件

重启容器
bash 复制代码
docker restart logstash
释放端口
bash 复制代码
firewall-cmd --add-port=9600/tcp --permanent
firewall-cmd --add-port=5044/tcp --permanent
firewall-cmd --reload

3. 编写Java代码

引入框架

javascript 复制代码
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.3</version>
</dependency>

创建logback-spring.xml

XML 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL,如果设置为WARN,则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时,配置文档如果发生改变,将会被重新加载,默认值为true -->
<!-- scanPeriod:设置监测配置文档是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒。
                 当scan为true时,此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。 -->
<configuration scan="true" scanPeriod="10 seconds">

    <!--1. 输出到控制台-->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <!--此日志appender是为开发使用,只配置最低级别,控制台输出的日志级别是大于或等于此级别的日志信息-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>DEBUG</level>
        </filter>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern>
            <!-- 设置字符集 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!-- 2. 输出到文件  -->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!--日志文档输出格式-->
        <append>true</append>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern>
            <charset>UTF-8</charset> <!-- 此处设置字符集 -->
        </encoder>

    </appender>

    <!--LOGSTASH config -->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.107.130:5044</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
            <!--自定义时间戳格式, 默认是yyyy-MM-dd'T'HH:mm:ss.SSS<-->
            <timestampPattern>yyyy-MM-dd HH:mm:ss</timestampPattern>
            <customFields>{"appname":"QueryApp"}</customFields>
        </encoder>
    </appender>


    <root level="DEBUG">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="LOGSTASH"/>
    </root>

</configuration>

这里用自己服务器的IP

javascript 复制代码
@Slf4j
@RestController
@RequestMapping("/api/query")
public class QueryController {
    @Autowired
    private IBookDocService ibs;
    @GetMapping("/helloLog")
    public HttpResp helloLog(){
        List<BookDoc> all = ibs.findAll();
        log.debug("从es查询到的数据:{}",all);
        log.debug("我是来测试logstash是否工作的");
        return HttpResp.success(all.subList(0,100));
    }
}

4.配置Kibana

创建一个索引

bash 复制代码
put ssc-logs

创建索引模式

5. 在Kibana中查看日志

打开 Kibana,导航到 "Discover" 页面,你应该能够看到从Java应用程序发送的日志。利用Kibana的搜索和可视化功能,你可以更轻松地分析和监控日志数据。

相关推荐
云飞云共享云桌面4 小时前
昆山精密机械公司8个Solidworks共用一台服务器
运维·服务器·网络·3d·自动化·制造
恒创科技HK4 小时前
中国香港服务器中常提到的双向/全程CN2是什么意思?
运维·服务器
MyCollege19994 小时前
win10使用ssh访问vmware虚拟机
linux·运维·centos
大霞上仙8 小时前
jmeter实现两个接口的同时并发
运维·服务器·jmeter
我就要用Cx3308 小时前
配置docker常见问题
运维·docker·容器
nmxiaocui9 小时前
openssl升级
linux·运维·服务器
zzu123zsw10 小时前
第一章 ELK Stack基础概念与架构
elk·架构
最小的帆也能远航11 小时前
2018年下半年 系统架构设计师 综合知识
linux·运维·服务器
云边云科技11 小时前
企业跨区域组网新解:SD-WAN技术打造安全稳定网络体系
运维·网络·人工智能·安全·边缘计算
会飞的鱼_12311 小时前
Nginx性能优化与防盗链实战指南
运维·nginx·性能优化