docker 安装elasticsearch、kibana、cerebro、logstash

安装步骤

第一步安装 docker

第二步拉取elasticsearch、kibana、cerebro、logstash 镜像

bash 复制代码

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.10.2  
docker pull docker.elastic.co/kibana/kibana:7.10.2  
docker pull lmenezes/cerebro:latest
docker pull logstash:7.5.1

第三步、创建容器

创建elasticsearch 容器

bash 复制代码

docker run -itd --name elasticsearch -p 9200:9200 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.10.2

该命令会创建一个名为 elasticsearch 的容器，并将主机的 9200 端口与容器内部的 9200 端口关联起来。同时设置 discovery.type 参数为 single-node，表示单节点模式。

可能出现的问题

问题一

Docker容器启动时报错ERROR: for elasticsearch Cannot start service elasticsearch: driver failed programm.

错误原因：

docker服务启动时定义的自定义链docker，由于centos7 firewall 被清掉

firewall的底层是使用iptables进行数据过滤，建立在iptables之上，这可能会与 Docker 产生冲突。当

firewalld 启动或者重启的时候，将会从 iptables 中移除 docker的规则，从而影响了 Docker 的正常工作。

当你使用的是 systemd 的时候， firewalld 会在 Docker 之前启动，但是如果你在 Docker 启动之后再启动

或者重启 firewalld ，你就需要重启 Docker 进程了。重启docker服务及可重新生成自定义链docker。

解决方法：

使用systemd关闭firewalld 之后要重启docker 重启docker服务后再启动容器

bash 复制代码

systemctl restart docker

创建kibana容器

首先运行kibana容器

bash 复制代码

docker run --name kibana -d -p 5601:5601 docker.elastic.co/kibana/kibana:7.10.2

然后copy kibana 的配置文件到宿主机，修改kibana 的零配置文件kibana.yml 修改kibana连接的elasticsearch 连接地址配置

bash 复制代码

docker cp kibana:/usr/share/kibana /home/test

重启 kibana 容器
使用数据卷方式重新挂载 kibana 的配置目录文件，重启kibana 容器

bash 复制代码

docker run --name kibana -itd -p 5601:5601 -v  /home/test/kibana/config:/usr/share/kibana/config docker.elastic.co/kibana/kibana:7.10.2

可能遇到的问题

kibana解决Kibana server is not ready yet问题
- 第一种
  将配置文件kibana.yml中的elasticsearch.url改为正确的链接，默认为: http://elasticsearch:9200，改为http://自己的IP地址:9200

我这里是将原本的elasticsearch改成了docker内部的IP，查看docker内部的IP命令如下

bash 复制代码

ip address

第二种

如果上面的配置都没有问题的话，可能是因为防火墙的问题，我们需要把防火墙关掉（我就是这么解决的）

查看防火墙状态

bash 复制代码

systemctl status firewalld.service

如果结果显示为图中这样，则防火墙是启动了的

接下来需要关闭防火墙，关闭之后再查看防火墙状态

bash 复制代码

systemctl stop firewalld.service
systemctl status firewalld.service

这样就是显示，就表明防火墙已经关闭

kibana 教程、界面和相关操作

https://www.cnblogs.com/jthr/p/17415787.html

创建cerebro 容器

bash 复制代码

docker run --name cerebro -itd -p 9000:9000 lmenezes/cerebro

cerebro 的默认端口是9000 ，创建成功后，就可以通过http://localhost:9000/ 进行访问

只需要输入ElasticSearch的URL并点击connect按钮，成功连接即可显示如下图所示信息。需要注意的是由于cerebro运行在容器中，直接输入localhost:9200即使通过浏览器能够访问也可能无法连接，需要保证的是在cerebro的容器中能够访问到的URL，比如这里使用的本机的IP

点击Connect按钮即可连接成功

如果需要执行相应的API操作，比如查询，可直接在界面进行操作，比如

另外还可以确认节点相关的统计信息

很多操作都可以通过页面进行

总结

相较于elasticsearch-head，界面美感较好，功能也在不断更新，建议使用

cerebro 界面、操作教程

https://blog.csdn.net/liumiaocn/article/details/98517815

创建logstash 容器

参考 https://blog.csdn.net/baoshuowl/article/details/114928281

启动logstash 容器

bash 复制代码

docker run -itd --name=logstash logstash:7.5.1

copy logstash的容器配置文件至宿主机

bash 复制代码

docker cp logstash:/usr/share/logstash /home/test

修改 logstash 关联的elstaicSearch地址
logstash.yml
下载movielens 测试数据集

下载最MovieLens最小测试数据集：https://grouplens.org/datasets/movielens/

参开博客：https://blog.csdn.net/baoshuowl/article/details/114928281

准备 logstash.conf配置文件

https://gitee.com/geektime-geekbang/geektime-ELK/tree/master/part-1/2.4-Logstash安装与导入数据/movielens

logstash.conf

bash 复制代码

input {
  file {
    path => "/Users/yiruan/dev/elk7/logstash-7.0.1/bin/movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

修改导入的测试数据movies.csv 路径和 logstash 输出 elstaicSearch的地址

在 logstash/bin 目录下运行一下命令

bash 复制代码

sudo ./logstash -f logstash.conf

在copy出来的logstash 配置文件下bin 目录下执行，导入测试数据

bash 复制代码

 ./logstash -f logstash.conf

以下为输出信息

如果没有出现这个则数据导入有问题

在docker 容器内操作文件没有权限则需要指定登录容器内部时候的root 用户

bash 复制代码

docker exec -ited --user=root logstash bash

在kibana的dev Tool 中查看导入的测试数据
查看已经导入的数据
打开 Kibana 的 Dev Tools 并输入 GET /movies/_search

bash 复制代码

GET /movies/_search

可以看到下载的测试数据集中的数据已经全部倒入 Elasticsearch 中

docker 安装elasticsearch、kibana、cerebro、logstash

安装步骤

第一步安装 docker

第二步 拉取elasticsearch、kibana、cerebro、logstash 镜像

第三步、创建 容器

创建elasticsearch 容器

创建kibana容器

kibana 教程、界面和相关操作

创建cerebro 容器

cerebro 界面、操作教程

创建logstash 容器

第二步拉取elasticsearch、kibana、cerebro、logstash 镜像

第三步、创建容器