如何快速搭建一个ELK环境?

前言

ELK是Elasticsearch、Logstash和Kibana三个开源软件的统称,通常配合使用,并且都先后归于Elastic.co企业名下,故被简称为ELK协议栈。

Elasticsearch是一个实时的分布式搜索和分析引擎,它可以用于全文搜索、结构化搜索以及分析。

Logstash是一个具有实时传输能力的数据收集引擎,用于进行数据收集(如读取文本文件)、解析,并将数据发送给Elasticsearch。

Kibana则为Elasticsearch提供了分析和可视化的Web平台,用户可以在Elasticsearch的索引中查找、交互数据,并生成各种维度表格、图形。

要如何快速搭建一个ELK环境,我们用docker来做个实践。

前期准备,需要安装好docker、docker-compose的运行环境。

一、安装ELK

1、创建相应目录,执行如下命令。

复制代码
mkdir -p /docker/elk/elasticsearch/data
mkdir -p /docker/elk/logstash/{config,pipeline}
cd /docker/elk

2、编写yaml文件,内容如下;version替换成自己的docker-compose版本。

复制代码
vim docker-compose.yml
version: '2.2.2'  
services:  
  elasticsearch:  
    image: elasticsearch:7.12.1  
    container_name: elasticsearch  
    environment:  
      - "discovery.type=single-node"  
    ports:  
      - "9200:9200"  
      - "9300:9300"  
    volumes:  
      - ./elasticsearch/data:/usr/share/elasticsearch/data  
    networks:  
      - mynet  
  logstash:  
    image: logstash:7.12.1  
    container_name: logstash  
    volumes:  
      - ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml  
      - ./logstash/pipeline:/usr/share/logstash/pipeline  
    ports:  
      - "5044:5044"  
    networks:  
      - mynet  
    depends_on:  
      - elasticsearch  
  kibana:  
    image: kibana:7.12.1  
    container_name: kibana  
    ports:  
      - "5601:5601"  
    environment:  
      ELASTICSEARCH_URL: http://elasticsearch:9200  
      ELASTICSEARCH_HOSTS: http://elasticsearch:9200  
    networks:  
      - mynet  
    depends_on:  
      - elasticsearch  
  
networks:
  mynet:
    name: mynet
    driver: bridge

3、编写logstash配置,内容如下。

复制代码
vim logstash/config/logstash.yml
pipeline.workers: 2
pipeline.batch.size: 3000
pipeline.batch.delay: 10
path.config: /usr/share/logstash/pipeline
path.logs: /var/log/logstash

vim logstash/pipeline/logstash.conf
input {
  tcp {
    port => 5044
  }
}

filter {
  # 在这里可以添加过滤器,例如grok、date等
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "log-%{+YYYY.MM.dd}"
  }
  stdout {
    codec => rubydebug
  }
}

4、启动服务,执行如下命令。

复制代码
docker-compose up -d

5、检查服务是否正常启动,执行如下命令。

复制代码
docker-compose ps -a

正常情况会返回类似如下内容。

6、如果有服务启动失败,可以使用如下命令排查问题。

复制代码
docker logs 容器id|容器名称

7、至此,ELK安装完成,并且可以正常运行。

二、测试验证

1、打开浏览器输入访问地址,如果一切正常会返回如下界面。

2、至此,ELK已验证完毕。

总结

今天简单介绍了一下什么是ELK,以及如何使用docker快速搭建ELK环境。

最后因本人能力有限,有什么不对的地方望各位大佬指出好让我改进,多多包含,谢谢大家。

相关推荐
咖啡Beans38 分钟前
Docker安装ELK(Elasticsearch + Logstash + Kibana)
后端·elasticsearch·docker
一勺菠萝丶2 小时前
Jenkins 构建 Node 项目报错解析与解决——pnpm lockfile 问题实战
elasticsearch·servlet·jenkins
智能化咨询2 小时前
Docker 容器化部署核心实战——Nginx 服务配置与正反向代理原理解析
docker
人工干智能9 小时前
科普:在Windows个人电脑上使用Docker的极简指南
windows·docker·容器
lllsure9 小时前
【Docker】容器
运维·docker·容器
烟雨书信13 小时前
LINUX中Docker Swarm的介绍和使用
java·linux·docker
小花鱼202514 小时前
Elasticsearch (ES)相关
大数据·elasticsearch
阿里嘎多哈基米15 小时前
ES——(三)DSL高级查询
elasticsearch·搜索引擎·全文检索·kibana·倒排索引
傻傻虎虎16 小时前
【Docker】容器端口暴露+镜像生成实战
java·docker·容器
小雪_Snow16 小时前
在 Docker 中安装 MySQL 教程
docker