ELK环境搭建

文章目录

- 1.ElasticSearch安装
- - - 1.安装的版本选择
    - - [1.SpringBoot版本：2.4.2 找到依赖的spring-data-elasticsearch的版本](#1.SpringBoot版本：2.4.2 找到依赖的spring-data-elasticsearch的版本)
      - [2.spring-data-elasticsearch版本：4.1.3 找到依赖的elasticsearch版本](#2.spring-data-elasticsearch版本：4.1.3 找到依赖的elasticsearch版本)
      - 3.elasticsearch版本：7.9.3
    - 2.安装
    - - 1.官方文档
      - 2.下载压缩包（百度网盘）
      - 3.上传到服务器
      - [1.在 /usr/local下创建目录ElasticSearch](#1.在 /usr/local下创建目录ElasticSearch)
        
        2.进入目录，并将压缩包上传到该目录
      - 4.解压缩
      - 1.解压
        
        2.删除压缩包
      - 5.快速启动es
      - 1.进入bin目录
        
        2.直接启动
        
        3.报错不能使用root用户启动
      - 6.创建一个新的elasticsearch用户启动es
      - 1.添加用户
        
        2.设置密码（Ww）
        
        3.将elasticsearch目录的所有者和所在组设置为elasticsearch用户
        
        4.查看是否设置成功
      - 7.再次启动es
      - 1.切换用户为elasticsearch
        
        2.启动
      - 8.开放9200端口
      - 1.服务器开启
        
        2.安全组开启
      - 9.elasticsearch配置
      - 1.配置文件位置
        
        2.修改JVM堆大小为512M
        
        3.日志命名规则以及滚动位置（如果滚动的日志过多可以手动删除）
        
        [4.配置path.data 和 path.logs也就是数据目录和日志目录](#4.配置path.data 和 path.logs也就是数据目录和日志目录)
        
        5.配置集群名字
        
        6.配置节点名字
        
        [7.配置network.host为0.0.0.0 监听所有网络接口](#7.配置network.host为0.0.0.0 监听所有网络接口)
        
        [8.将elasticsearch用户打开文件的最大数量设置为 65,535 个](#8.将elasticsearch用户打开文件的最大数量设置为 65,535 个)
        
        9.虚拟内存设置
        
        [10.线程数配置至少为 4096](#10.线程数配置至少为 4096)
        
        11.配置节点发现（因为修改了network.host）
      - 10.测试
      - 1.重启es
        
        2.测试访问
        
        3.后台启动es并指定日志输出目录
        
        4.查看日志
        
        5.再次访问es测试
      - [11.单节点 elasticsearch.yml配置](#11.单节点 elasticsearch.yml配置)
      - 12.安装head插件
      - 1.谷歌插件安装
        
        2.创建一个只有一个分片的索引（有副本分片，会警告，因为只有一个节点）
- 2.Kibana安装
- - - 1.安装版本7.9.3
    - 2.下载压缩包
    - - 1.找到指定版本的
      - 2.百度网盘
    - 3.上传到服务器
    - - [1.创建 /usr/local/Kibana的目录](#1.创建 /usr/local/Kibana的目录)
      - 2.将压缩包上传到这里
    - 4.解压缩
    - - 1.解压
      - 2.删除压缩包
    - 5.启动
- 3.Logstash安装
- - - 1.安装版本7.9.3首先需要安装jdk
    - - 1.官网下载
      - [2.将压缩包上传到 /usr/local/jdk8](#2.将压缩包上传到 /usr/local/jdk8)
      - 1.创建并进入目录
        
        2.上传
      - 3.解压缩
      - 1.解压到当前目录
        
        2.删除原有的压缩包
      - 4.配置环境变量
      - 1.首先复制jdk1.8.0_261的路径
        
        2.编辑环境变量文件，在文件最后配置JAVA_HOME
        
        3.使配置生效
        
        [4.输入java -version测试](#4.输入java -version测试)
    - 2.下载压缩包
    - - 1.下载地址
      - 2.百度网盘
    - 3.上传到服务器
    - - 1.上传到/usr/local/logstash下
      - 2.创建目录并进入，然后上传到这个目录下
    - 4.解压缩
    - - 1.解压
      - 2.删除原来的压缩包
    - 5.启动
    - - 1.进入bin目录
      - [2.运行最基本的 Logstash 管道](#2.运行最基本的 Logstash 管道)
      - [3.输入hello world，有消息就是成功了](#3.输入hello world，有消息就是成功了)

1.ElasticSearch安装

1.安装的版本选择

1.SpringBoot版本：2.4.2 找到依赖的spring-data-elasticsearch的版本

2.spring-data-elasticsearch版本：4.1.3 找到依赖的elasticsearch版本

3.elasticsearch版本：7.9.3

2.安装

1.官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/7.9/getting-started-install.html

2.下载压缩包（百度网盘）

3.上传到服务器

1.在 /usr/local下创建目录ElasticSearch

sh 复制代码

mkdir /usr/local/ElasticSearch

sh 复制代码

cd /usr/local/ElasticSearch

4.解压缩

1.解压

sh 复制代码

tar -zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz

2.删除压缩包

sh 复制代码

rm -rf elasticsearch-7.9.3-linux-x86_64.tar.gz

5.快速启动es

1.进入bin目录

sh 复制代码

cd /usr/local/ElasticSearch/elasticsearch-7.9.3/bin

2.直接启动

sh 复制代码

./elasticsearch

3.报错不能使用root用户启动

6.创建一个新的elasticsearch用户启动es

1.添加用户

sh 复制代码

useradd elasticsearch

2.设置密码（Ww）

sh 复制代码

passwd elasticsearch

3.将elasticsearch目录的所有者和所在组设置为elasticsearch用户

sh 复制代码

chown -R elasticsearch:elasticsearch /usr/local/ElasticSearch/elasticsearch-7.9.3

4.查看是否设置成功

sh 复制代码

ll /usr/local/ElasticSearch/elasticsearch-7.9.3

7.再次启动es

1.切换用户为elasticsearch

sh 复制代码

su elasticsearch

2.启动

sh 复制代码

cd /usr/local/ElasticSearch/elasticsearch-7.9.3/bin && ./elasticsearch

8.开放9200端口

1.服务器开启

sh 复制代码

systemctl start firewalld && firewall-cmd --permanent --add-port=9200/tcp && firewall-cmd --reload && firewall-cmd --query-port=9200/tcp

2.安全组开启

9.elasticsearch配置

1.配置文件位置

2.修改JVM堆大小为512M

sh 复制代码

vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/jvm.options

3.日志命名规则以及滚动位置（如果滚动的日志过多可以手动删除）

4.配置path.data 和 path.logs也就是数据目录和日志目录

sh 复制代码

vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

yml 复制代码

path:
  data: /usr/local/ElasticSearch/elasticsearch-7.9.3/data/elasticsearch
  logs: /usr/local/ElasticSearch/elasticsearch-7.9.3/log/elasticsearch

5.配置集群名字

sh 复制代码

vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

yml 复制代码

cluster.name: elasticsearch-cluster

6.配置节点名字

sh 复制代码

vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

sh 复制代码

node.name: elasticsearch-node-9200

7.配置network.host为0.0.0.0 监听所有网络接口

sh 复制代码

vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

sh 复制代码

network.host: 0.0.0.0

8.将elasticsearch用户打开文件的最大数量设置为 65,535 个

sh 复制代码

vim /etc/security/limits.conf

sh 复制代码

elasticsearch  -  nofile  65535

9.虚拟内存设置

sh 复制代码

vim /etc/sysctl.conf

最后一行

sh 复制代码

vm.max_map_count=262144

sh 复制代码

sudo sysctl -p

sh 复制代码

sysctl vm.max_map_count

10.线程数配置至少为 4096

sh 复制代码

vim /etc/security/limits.conf

sh 复制代码

elasticsearch soft nproc 4096
elasticsearch hard nproc 4096

sh 复制代码

vim /etc/security/limits.d/90-nproc.conf

11.配置节点发现（因为修改了network.host）

sh 复制代码

vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

sh 复制代码

discovery.seed_hosts:
  - 127.0.0.1
cluster.initial_master_nodes:
  - elasticsearch-node-9200

10.测试

1.重启es

sh 复制代码

cd /usr/local/ElasticSearch/elasticsearch-7.9.3/bin && ./elasticsearch

2.测试访问

http://ip:9200/

3.后台启动es并指定日志输出目录

sh 复制代码

nohup /usr/local/ElasticSearch/elasticsearch-7.9.3/bin/elasticsearch > /usr/local/ElasticSearch/elasticsearch-7.9.3/logs/elasticsearch-nohup.log 2>&1 &

4.查看日志

sh 复制代码

cat /usr/local/ElasticSearch/elasticsearch-7.9.3/logs/elasticsearch-nohup.log

5.再次访问es测试

11.单节点 elasticsearch.yml配置

sh 复制代码

vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

yaml 复制代码

path:
  data: /usr/local/ElasticSearch/elasticsearch-7.9.3/data/elasticsearch
  logs: /usr/local/ElasticSearch/elasticsearch-7.9.3/log/elasticsearch
cluster.name: elasticsearch-cluster
node.name: elasticsearch-node-9200
network.host: 0.0.0.0
discovery.seed_hosts:
  - 127.0.0.1
cluster.initial_master_nodes:
  - elasticsearch-node-9200

12.安装head插件

1.谷歌插件安装

2.创建一个只有一个分片的索引（有副本分片，会警告，因为只有一个节点）

2.Kibana安装

1.安装版本7.9.3

2.下载压缩包

1.找到指定版本的

https://www.elastic.co/downloads/past-releases#kibana

2.百度网盘

3.上传到服务器

1.创建 /usr/local/Kibana的目录

sh 复制代码

mkdir /usr/local/Kibana

2.将压缩包上传到这里

sh 复制代码

cd /usr/local/Kibana

4.解压缩

1.解压

sh 复制代码

tar -zxvf kibana-7.9.3-linux-x86_64.tar.gz

2.删除压缩包

sh 复制代码

rm -rf kibana-7.9.3-linux-x86_64.tar.gz

5.启动

1.给elasticsearch用户Kibana目录的权限

sh 复制代码

chown -R elasticsearch:elasticsearch /usr/local/Kibana/kibana-7.9.3-linux-x86_64/

2.切换用户

sh 复制代码

su elasticsearch

3.配置kibana

1.编辑配置文件

sh 复制代码

vim /usr/local/Kibana/kibana-7.9.3-linux-x86_64/config/kibana.yml

2.添加下面的内容

yaml 复制代码

elasticsearch.hosts: ["http://ip:9200"] # 配置 Elasticsearch 链接地址
server.port: 5601 # 配置 Kibana 服务监听端口
server.host: "0.0.0.0" # 配置 Kibana 服务绑定地址（允许外部访问）

3.开启5601端口

sh 复制代码

systemctl start firewalld && firewall-cmd --permanent --add-port=5601/tcp && firewall-cmd --reload && firewall-cmd --query-port=5601/tcp

4.启动

sh 复制代码

/usr/local/Kibana/kibana-7.9.3-linux-x86_64/bin/kibana

4.访问测试

http://ip:5601

sh 复制代码

GET /_cat/health?v

5.后台启动

1.启动

sh 复制代码

nohup /usr/local/Kibana/kibana-7.9.3-linux-x86_64/bin/kibana > /usr/local/Kibana/kibana-7.9.3-linux-x86_64/kibana.log 2>&1 &

2.查看日志

sh 复制代码

cat /usr/local/Kibana/kibana-7.9.3-linux-x86_64/kibana.log

3.Logstash安装

1.安装版本7.9.3首先需要安装jdk

1.官网下载

https://www.oracle.com/java/technologies/downloads/#java8

2.将压缩包上传到 /usr/local/jdk8

1.创建并进入目录

sh 复制代码

mkdir /usr/local/jdk8 && cd /usr/local/jdk8

2.上传

3.解压缩

1.解压到当前目录

sh 复制代码

tar -zxvf jdk-8u261-linux-x64.tar.gz

2.删除原有的压缩包

sh 复制代码

rm -rf jdk-8u261-linux-x64.tar.gz

4.配置环境变量

1.首先复制jdk1.8.0_261的路径

sh 复制代码

/usr/local/jdk8/jdk1.8.0_261

2.编辑环境变量文件，在文件最后配置JAVA_HOME

sh 复制代码

vim /etc/profile

sh 复制代码

export JAVA_HOME=/usr/local/jdk8/jdk1.8.0_261
export PATH=$JAVA_HOME/bin:$PATH

3.使配置生效

sh 复制代码

source /etc/profile

4.输入java -version测试

2.下载压缩包

1.下载地址

https://www.elastic.co/downloads/past-releases/logstash-7-9-3

2.百度网盘

3.上传到服务器

1.上传到/usr/local/logstash下

sh 复制代码

mkdir /usr/local/logstash && cd /usr/local/logstash

4.解压缩

1.解压

sh 复制代码

tar -zxvf logstash-7.9.3.tar.gz

2.删除原来的压缩包

sh 复制代码

rm -rf logstash-7.9.3.tar.gz

5.启动

1.进入bin目录

sh 复制代码

cd /usr/local/logstash/logstash-7.9.3/bin

2.运行最基本的 Logstash 管道

sh 复制代码

./logstash -e 'input { stdin { } } output { stdout {} }'

文章目录

1.ElasticSearch安装

1.安装的版本选择

1.SpringBoot版本：2.4.2 找到依赖的spring-data-elasticsearch的版本

2.spring-data-elasticsearch版本：4.1.3 找到依赖的elasticsearch版本

3.elasticsearch版本：7.9.3

2.安装

1.官方文档

2.下载压缩包（百度网盘）

3.上传到服务器

1.在 /usr/local下创建目录ElasticSearch

2.进入目录，并将压缩包上传到该目录

4.解压缩

1.解压

2.删除压缩包

5.快速启动es

1.进入bin目录

2.直接启动

3.报错不能使用root用户启动

6.创建一个新的elasticsearch用户启动es

1.添加用户

2.设置密码（Ww）

3.将elasticsearch目录的所有者和所在组设置为elasticsearch用户

4.查看是否设置成功

7.再次启动es

1.切换用户为elasticsearch

2.启动

8.开放9200端口

1.服务器开启

2.安全组开启

9.elasticsearch配置

1.配置文件位置

2.修改JVM堆大小为512M

3.日志命名规则以及滚动位置（如果滚动的日志过多可以手动删除）

4.配置path.data 和 path.logs也就是数据目录和日志目录

5.配置集群名字

6.配置节点名字

7.配置network.host为0.0.0.0 监听所有网络接口

8.将elasticsearch用户打开文件的最大数量设置为 65,535 个

9.虚拟内存设置

10.线程数配置至少为 4096

11.配置节点发现（因为修改了network.host）

10.测试

1.重启es

2.测试访问

3.后台启动es并指定日志输出目录

4.查看日志

5.再次访问es测试

11.单节点 elasticsearch.yml配置

12.安装head插件

1.谷歌插件安装

2.创建一个只有一个分片的索引（有副本分片，会警告，因为只有一个节点）

2.Kibana安装

1.安装版本7.9.3

2.下载压缩包

1.找到指定版本的

2.百度网盘

3.上传到服务器

1.创建 /usr/local/Kibana的目录

2.将压缩包上传到这里

4.解压缩

1.解压

2.删除压缩包

5.启动

1.给elasticsearch用户Kibana目录的权限

2.切换用户

3.配置kibana

1.编辑配置文件

2.添加下面的内容

3.开启5601端口

4.启动

4.访问测试

5.后台启动

1.启动

2.查看日志

3.Logstash安装

1.安装版本7.9.3首先需要安装jdk

1.官网下载

2.将压缩包上传到 /usr/local/jdk8