如何快速搭建一个ELK环境?

前言

ELK是Elasticsearch、Logstash和Kibana三个开源软件的统称,通常配合使用,并且都先后归于Elastic.co企业名下,故被简称为ELK协议栈。

Elasticsearch是一个实时的分布式搜索和分析引擎,它可以用于全文搜索、结构化搜索以及分析。

Logstash是一个具有实时传输能力的数据收集引擎,用于进行数据收集(如读取文本文件)、解析,并将数据发送给Elasticsearch。

Kibana则为Elasticsearch提供了分析和可视化的Web平台,用户可以在Elasticsearch的索引中查找、交互数据,并生成各种维度表格、图形。

要如何快速搭建一个ELK环境,我们用docker来做个实践。

前期准备,需要安装好docker、docker-compose的运行环境。

一、安装ELK

1、创建相应目录,执行如下命令。

复制代码
mkdir -p /docker/elk/elasticsearch/data
mkdir -p /docker/elk/logstash/{config,pipeline}
cd /docker/elk

2、编写yaml文件,内容如下;version替换成自己的docker-compose版本。

复制代码
vim docker-compose.yml
version: '2.2.2'  
services:  
  elasticsearch:  
    image: elasticsearch:7.12.1  
    container_name: elasticsearch  
    environment:  
      - "discovery.type=single-node"  
    ports:  
      - "9200:9200"  
      - "9300:9300"  
    volumes:  
      - ./elasticsearch/data:/usr/share/elasticsearch/data  
    networks:  
      - mynet  
  logstash:  
    image: logstash:7.12.1  
    container_name: logstash  
    volumes:  
      - ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml  
      - ./logstash/pipeline:/usr/share/logstash/pipeline  
    ports:  
      - "5044:5044"  
    networks:  
      - mynet  
    depends_on:  
      - elasticsearch  
  kibana:  
    image: kibana:7.12.1  
    container_name: kibana  
    ports:  
      - "5601:5601"  
    environment:  
      ELASTICSEARCH_URL: http://elasticsearch:9200  
      ELASTICSEARCH_HOSTS: http://elasticsearch:9200  
    networks:  
      - mynet  
    depends_on:  
      - elasticsearch  
  
networks:
  mynet:
    name: mynet
    driver: bridge

3、编写logstash配置,内容如下。

复制代码
vim logstash/config/logstash.yml
pipeline.workers: 2
pipeline.batch.size: 3000
pipeline.batch.delay: 10
path.config: /usr/share/logstash/pipeline
path.logs: /var/log/logstash

vim logstash/pipeline/logstash.conf
input {
  tcp {
    port => 5044
  }
}

filter {
  # 在这里可以添加过滤器,例如grok、date等
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "log-%{+YYYY.MM.dd}"
  }
  stdout {
    codec => rubydebug
  }
}

4、启动服务,执行如下命令。

复制代码
docker-compose up -d

5、检查服务是否正常启动,执行如下命令。

复制代码
docker-compose ps -a

正常情况会返回类似如下内容。

6、如果有服务启动失败,可以使用如下命令排查问题。

复制代码
docker logs 容器id|容器名称

7、至此,ELK安装完成,并且可以正常运行。

二、测试验证

1、打开浏览器输入访问地址,如果一切正常会返回如下界面。

2、至此,ELK已验证完毕。

总结

今天简单介绍了一下什么是ELK,以及如何使用docker快速搭建ELK环境。

最后因本人能力有限,有什么不对的地方望各位大佬指出好让我改进,多多包含,谢谢大家。

相关推荐
逍遥浪子~34 分钟前
docker实践(一)
运维·docker·容器
AI云原生1 小时前
如何使用Docker快速运行Firefox并实现远程访问本地火狐浏览器的教程
运维·docker·云原生·容器·serverless·firefox·kubeless
今生相伴9911 小时前
ELFK:企业级日志管理的完整解决方案——从入门到精通
运维·elk·elasticsearch
❀͜͡傀儡师3 小时前
Docker部署搜索引擎SearXNG
运维·docker·容器·searxng
虎头金猫3 小时前
如何在Linux上使用Docker在本地部署开源PDF工具Stirling PDF:StirlingPDF+cpolar让专业操作像在线文档一样简单
linux·运维·ubuntu·docker·pdf·开源·centos
janthinasnail6 小时前
使用Docker搭建MaxKB智能体平台
docker·maxkb
计算机小手7 小时前
高效 P2P 文件传输工具:FileSync 利用 WebRTC 技术实现极速安全传输
经验分享·docker·webrtc·开源软件
笨鸟贤妃8 小时前
Ubuntu 22.04 安装 Docker & Compose 最新最简单完整指南
ubuntu·docker·compose
在未来等你8 小时前
Elasticsearch面试精讲 Day 15:索引别名与零停机更新
大数据·分布式·elasticsearch·搜索引擎·面试
感哥9 小时前
Docker存储
docker