ELKB日志分析平台 部署

ElasticSearch ELKB 日志分析 介绍
docker-compose一键部署ELK(elasticsearch+logstash+kibana)

以下是使用 Docker Compose 部署 Elasticsearch、Logstash、Kibana 和 Beats(以 Filebeat 为例) 的完整方案,涵盖配置文件、关键参数说明及部署步骤,适用于日志采集、存储与分析场景:

一、核心组件与架构

  • Elasticsearch:日志存储与搜索引擎,支持分布式扩展。
  • Logstash:日志采集、解析与转发工具,支持多数据源输入。
  • Kibana:数据可视化与仪表板工具,与 Elasticsearch 集成。
  • Filebeat:轻量级日志采集器,用于从文件或系统日志中收集数据并发送至 Logstash/Elasticsearch。

架构流程 :
Filebeat → Logstash → Elasticsearch → Kibana

二、Docker Compose 配置文件

创建 docker-compose.yml 文件,内容如下:

yaml 复制代码
version: '3.8'

services:
  # Elasticsearch 服务
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.15.0
    container_name: elasticsearch
    environment:
      - discovery.type=single-node  # 单节点模式(生产环境需改为集群配置)
      - ES_JAVA_OPTS=-Xms1g -Xmx1g  # JVM 堆内存设置(根据主机内存调整)
      - xpack.security.enabled=false  # 禁用安全认证(生产环境需开启)
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - es_data:/usr/share/elasticsearch/data  # 数据持久化
    ports:
      - "9200:9200"  # REST API 端口
      - "9300:9300"  # 节点间通信端口
    networks:
      - elk_network

  # Logstash 服务
  logstash:
    image: docker.elastic.co/logstash/logstash:8.15.0
    container_name: logstash
    volumes:
      - ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml  # Logstash 配置文件
      - ./logstash/pipeline:/usr/share/logstash/pipeline  # 管道配置目录
    depends_on:
      - elasticsearch
    ports:
      - "5044:5044"  # Beats 输入端口
      - "9600:9600"  # 监控端口
    networks:
      - elk_network

  # Kibana 服务
  kibana:
    image: docker.elastic.co/kibana/kibana:8.15.0
    container_name: kibana
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200  # 指定 Elasticsearch 地址
    depends_on:
      - elasticsearch
    ports:
      - "5601:5601"  # Kibana 访问端口
    networks:
      - elk_network

  # Filebeat 服务
  filebeat:
    image: docker.elastic.co/beats/filebeat:8.15.0
    container_name: filebeat
    user: root  # 需要 root 权限访问主机日志文件
    volumes:
      - ./filebeat/config/filebeat.yml:/usr/share/filebeat/filebeat.yml  # Filebeat 配置文件
      - /var/log:/var/log:ro  # 挂载主机日志目录(只读)
    depends_on:
      - logstash
    networks:
      - elk_network

volumes:
  es_data:  # Elasticsearch 数据卷

networks:
  elk_network:  # 自定义网络,确保容器间通信
    driver: bridge

三、关键配置文件说明

1. Logstash 管道配置 (logstash/pipeline/logstash.conf)
conf 复制代码
input {
  beats {
    port => 5044  # 监听 Filebeat 发送的数据
  }
}

filter {
  # 示例:解析 JSON 格式日志
  if [message] =~ "^{" {
    json {
      source => "message"
    }
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]  # 输出到 Elasticsearch
    index => "logstash-%{+YYYY.MM.dd}"  # 按日期生成索引
  }
  stdout { codec => rubydebug }  # 调试用,输出到控制台
}
2. Filebeat 配置 (filebeat/config/filebeat.yml)
yaml 复制代码
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log  # 采集主机日志目录下的所有 .log 文件
  fields:
    app: "my_application"  # 自定义字段,用于标识日志来源

output.logstash:
  hosts: ["logstash:5044"]  # 发送到 Logstash

四、部署步骤

  1. 创建目录结构:

    bash 复制代码
    mkdir -p elk/{logstash/config,logstash/pipeline,filebeat/config}
    chmod -R 777 elk  # 确保容器有权限访问目录
  2. 放置配置文件:

    • 将上述 logstash.conf 和 filebeat.yml 分别放入对应目录。
  3. 启动服务:

    bash 复制代码
    docker-compose up -d
  4. 验证部署:

    • Elasticsearch :访问 http://localhost:9200,返回 JSON 信息表示成功。
    • Kibana :访问 http://localhost:5601,登录后创建索引模式(如 logstash-*)查看日志。
    • Logstash :检查日志输出(docker logs logstash)确认数据接收。
    • Filebeat :检查日志输出(docker logs filebeat)确认日志采集。

五、生产环境优化建议

  1. 集群配置:

    • Elasticsearch 改为多节点部署,修改 discovery.type 和 cluster.initial_master_nodes。
    • 增加 vm.max_map_count 系统参数(通过 sysctl -w vm.max_map_count=262144)。
  2. 安全认证:

    • 启用 Elasticsearch 的 X-Pack 安全功能,生成证书并配置 Kibana/Logstash 使用 HTTPS。
  3. 资源限制:

    • 为每个容器设置 CPU/内存限制(如 resources.limits.memory: 2G)。
  4. 日志轮转:

    • 配置 Filebeat 的 close_inactive 和 clean_inactive 参数避免日志文件过多。

六、常见问题排查

  • 容器无法通信 :检查是否加入同一自定义网络(elk_network)。
  • Elasticsearch 启动失败 :检查 vm.max_map_count 和 memlock 配置。
  • Logstash 无数据输入 :确认 Filebeat 的 output.logstash.hosts 地址正确。
  • Kibana 无法连接 Elasticsearch :检查 ELASTICSEARCH_HOSTS 环境变量是否指向正确的容器名称。
相关推荐
瑞克-桑切斯13 天前
8、ELK 认识与部署
elk
Frag0ut13 天前
Notepad++ 正则表达式完全手册:文本处理的终极武器(2026实战版)
正则表达式·notepad++·数据清洗·日志分析·正则替换·提取ip·正则表达式实战
程序员大阳16 天前
副队长JavaScript教程(50)-DOM:网页开发的起点
javascript·dom·es·节点·概念·document·关系
枫子有风17 天前
卡码网盘项目深挖
java·redis·jwt·es·pgvector
螺蛳粉 螺蛳粉18 天前
CDH第八篇:CDH 部署排错手册(系列收官):一张表解决 7180 打不开、Parcel 失败、Kafka 起不来
日志分析·故障排查·大数据运维·cdh排错·clouderamanager·系列收官
g105655913921 天前
ELK企业日志分析系统
elk
Elastic 中国社区官方博客24 天前
我们如何通过 70 多个拉取请求,将 OpenTelemetry Java agent 迁移到 invokedynamic
java·大数据·开发语言·elasticsearch·搜索引擎·全文检索·es
梅菲塔亚24 天前
ELK企业日志分析系统实战部署
elk
Elastic 中国社区官方博客25 天前
控制告警如何触发、恢复和发送通知:Elastic 可观测性中的 Kibana 通用告警
大数据·数据库·安全·elasticsearch·搜索引擎·全文检索·es
逐流人25 天前
ELK企业级日志分析系统:从零搭建集中化日志平台
运维·elk·云原生·云计算·日志分析