目录
- 前言
- 一、ELK是什么？
- [二、系统环境（CentOS 7）（2C4G的机器。。。）](#二、系统环境（CentOS 7）（2C4G的机器。。。）)
- 三、安装步骤
-
- [3.1 安装ElasticSearch](#3.1 安装ElasticSearch)
-
- [3.1.1 解压到/usr/local](#3.1.1 解压到/usr/local)
- [3.1.2 修改jvm堆配置（可选，测试服务器内存低）](#3.1.2 修改jvm堆配置（可选，测试服务器内存低）)
- [3.1.3 修改elasticsearch.yml](#3.1.3 修改elasticsearch.yml)
- [3.1.4 创建es用户](#3.1.4 创建es用户)
- [3.1.5 赋予es操作权限](#3.1.5 赋予es操作权限)
- [3.1.6 万事俱备](#3.1.6 万事俱备)
- [3.1.7 启动问题清单](#3.1.7 启动问题清单)
- [3.1.8 启动成功](#3.1.8 启动成功)
- [3.2 安装Kibana](#3.2 安装Kibana)
-
- [3.2.1 解压到/usr/local，并赋予用户es权限](#3.2.1 解压到/usr/local，并赋予用户es权限)
- [3.2.2 修改kibana.yml配置](#3.2.2 修改kibana.yml配置)
- [3.2.3 关闭ssl配置](#3.2.3 关闭ssl配置)
- [3.2.4 使用es用户启动](#3.2.4 使用es用户启动)
- [3.2.5 启动成功、测试](#3.2.5 启动成功、测试)
- [3.3 Logstash安装](#3.3 Logstash安装)
-
- [3.3.1 解压到/usr/local](#3.3.1 解压到/usr/local)
- [3.3.2 测试配置](#3.3.2 测试配置)
- [3.3.3 多应用如何推送](#3.3.3 多应用如何推送)
- [3.3.3 关闭logstash](#3.3.3 关闭logstash)
- [3.3.4 错误收集](#3.3.4 错误收集)
- [3.4 Filebeat安装](#3.4 Filebeat安装)
-
- [3.4.1 解压（后续在各服务器下安装，把对应日志推送到logstash或者直接推给ES即可）](#3.4.1 解压（后续在各服务器下安装，把对应日志推送到logstash或者直接推给ES即可）)
- [3.4.2 新增测试配置](#3.4.2 新增测试配置)
- [3.4.3 关闭Filebeat](#3.4.3 关闭Filebeat)
- [3.4.4 收尾工作](#3.4.4 收尾工作)
- 四、其他操作
-
- [4.1 获取所有索引](#4.1 获取所有索引)
- [4.2 删除索引](#4.2 删除索引)
前言
单机部署ELK + Filebeat 收集应用日志。
一、ELK是什么？
ELK 是一个开源的数据分析和日志管理解决方案，全称为 Elasticsearch, Logstash, Kibana。ELK Stack 主要用于收集、管理和分析日志数据，帮助用户理解和洞察大型数据集。以下是各个组件的功能概述：
- Elasticsearch：这是一个基于 Lucene 的全文搜索引擎和分布式索引引擎，用于存储、管理和搜索大量数据。它提供了一个用于查询和分析数据的 RESTful API，并利用其强大的搜索和分析功能，帮助用户处理和理解大规模数据集。
- Logstash：这是一个强大的数据处理工具，用于实时地收集、解析、过滤和转换日志数据。Logstash 可以从各种源收集数据，包括文件、网络流、数据库、API 调用等，并通过一系列插件进行过滤、转换和格式化，以便更容易地处理和分析数据。
- Kibana：这是一个用于管理和可视化 Elasticsearch 数据的 Web 界面。Kibana 提供了几种方式来查看和探索数据，包括可视化图表、地图、时间序列图和搜索功能。它可以帮助用户快速提取洞察，提供了数据探索、分析和报告的界面。
Filebeat 是 Elastic Stack（ELK）中的一个组件，用于轻量级的日志文件收集和转发。它能够实时监控指定的日志文件，并将其发送到 Elasticsearch 或 Logstash 进行处理和分析。
二、系统环境（CentOS 7）（2C4G的机器。。。）
bash
cat /etc/os-release
bash
cat /etc/centos-release
三、安装步骤
- ElasticSearch 下载地址 https://www.elastic.co/cn/downloads/elasticsearch
- Kibana 下载地址 https://www.elastic.co/cn/downloads/kibana
- Logstash 下载地址 https://www.elastic.co/cn/downloads/logstash
- Filebeat 下载地址 https://www.elastic.co/cn/downloads/beats/filebeat
安装的方式很多，这里提供的是下载包的方式，上传到服务器里，解压改配置再后台启动。
3.1 安装ElasticSearch
ElasticSearch 8.0以上，和其他低版本最大的区别就是，默认开启安全防护。kibana访问时需要token访问。
首次启动Elasticsearch时，默认情况下会启用并配置安全功能。以下安全配置将自动进行：
启用身份验证和授权，并为弹性内置超级用户生成密码。
为传输层和HTTP层生成TLS的证书和密钥，并使用这些密钥和证书启用和配置TLS。
为Kibana生成一个注册令牌，有效期为30分钟。
开发文档： https://www.elastic.co/guide/en/elasticsearch/reference/8.14/index.html
3.1.1 解压到/usr/local
c
tar -zxvf elasticsearch-8.14.3-linux-x86_64.tar.gz -C /usr/local3.1.2 修改jvm堆配置（可选，测试服务器内存低）
bash
vim /usr/local/elasticsearch-8.14.3/config/jvm.options修改配置
c
-Xms512m
-Xmx512m3.1.3 修改elasticsearch.yml
bash
vim /usr/local/elasticsearch-8.14.3/config/elasticsearch.yml修改配置
c
# 集群名称
cluster.name: my-application
# 节点名称
node.name: node-1
# 指定访问主机 设置成0.0.0.0可以被任何机器访问
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["127.0.0.1"]
cluster.initial_master_nodes: ["node-1"]
# 关闭安全配置（这里为了后面配置少些，安全性低）
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
xpack.security.http.ssl:
enabled: false
# Enable encryption and mutual authentication between cluster nodes
xpack.security.transport.ssl:
enabled: false3.1.4 创建es用户
不可使用root用户直接启动elasticsearch，需要创建一个用户来启动ES。
c
java.lang.RuntimeException: can not run elasticsearch as root
at org.elasticsearch.bootstrap.Elasticsearch.initializeNatives(Elasticsearch.java:286) ~[elasticsearch-8.14.3.jar:?]
at org.elasticsearch.bootstrap.Elasticsearch.initPhase2(Elasticsearch.java:169) ~[elasticsearch-8.14.3.jar:?]
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:74) ~[elasticsearch-8.14.3.jar:?]
bash
# 创建用户es
groupadd es
useradd -g es es
passwd es3.1.5 赋予es操作权限
bash
chown -R es:es /usr/local/elasticsearch-8.14.3/3.1.6 万事俱备
bash
cd /usr/local/elasticsearch-8.14.3/bin/
bash
# 切换es用户
su es
# 启动(第一次建议这个，可以看看输出)
./elasticsearch
# 后台启动
nohup ./elasticsearch &
# 不需要nohup.out文件 执行命令
nohup ./elasticsearch > /dev/null 2>&1 &
bash
# 查看启动的进程
ps -ef | grep elasticsearch
3.1.7 启动问题清单
bash
bootstrap check failure [1] of [1]:
max virtual memory areas vm.max_map_count [65530] is too low,
increase to at least [262144];
bash
# 切换到root用户：
su root
sysctl -w vm.max_map_count=262144
# 查看结果：
sysctl -a|grep vm.max_map_count
# 切换用户，再次启动
su es
# 进入到bin目录，启动命令
./elasticsearch目前就碰到这问题，待大家补充。
3.1.8 启动成功
bash
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
✅ Elasticsearch security features have been automatically configured!
✅ Authentication is enabled and cluster connections are encrypted.
ℹ️ Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
Q1dedsRMdwW3TlCurM6S
ℹ️ HTTP CA certificate SHA-256 fingerprint:
a760b450bc408134a581a7dae6f10c934d12f03490464bbe6bf03f1f8a29f1ee
ℹ️ Configure Kibana to use this cluster:
• Run Kibana and click the configuration link in the terminal when Kibana starts.
• Copy the following enrollment token and paste it into Kibana in your browser (valid for the next 30 minutes):
eyJ2ZXIiOiI4LjE0LjAiLCJhZHIiOlsiMTAuMC4xMi4yOjkyMDAiXSwiZmdyIjoiYTc2MGI0NTBiYzQwODEzNGE1ODFhN2RhZTZmMTBjOTM0ZDEyZjAzNDkwNDY0YmJlNmJmMDNmMWY4YTI5ZjFlZSIsImtleSI6IkQxVm1CcEVCUUoyYWhtcGZFQjFHOnBRSFg3YTU3VDlXQXVTTUZDYlp3UncifQ==
ℹ️ Configure other nodes to join this cluster:
• Copy the following enrollment token and start new Elasticsearch nodes with `bin/elasticsearch --enrollment-token <token>` (valid for the next 30 minutes):
eyJ2ZXIiOiI4LjE0LjAiLCJhZHIiOlsiMTAuMC4xMi4yOjkyMDAiXSwiZmdyIjoiYTc2MGI0NTBiYzQwODEzNGE1ODFhN2RhZTZmMTBjOTM0ZDEyZjAzNDkwNDY0YmJlNmJmMDNmMWY4YTI5ZjFlZSIsImtleSI6IkRWVm1CcEVCUUoyYWhtcGZFQjA4Onl2ODNUM29VVEhXcWhXNi1Ub3BjYncifQ==
If you're running in Docker, copy the enrollment token and run:
`docker run -e "ENROLLMENT_TOKEN=<token>" docker.elastic.co/elasticsearch/elasticsearch:8.14.3`
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━查看ElasticSearch是否启动成功。
bash
curl 127.0.0.1:9200
bash
{
"name" : "node-1",
"cluster_name" : "my-application",
"cluster_uuid" : "VlzgSvECRRqg8iFbmzB1Tw",
"version" : {
"number" : "8.14.3",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "d55f984299e0e88dee72ebd8255f7ff130859ad0",
"build_date" : "2024-07-07T22:04:49.882652950Z",
"build_snapshot" : false,
"lucene_version" : "9.10.0",
"minimum_wire_compatibility_version" : "7.17.0",
"minimum_index_compatibility_version" : "7.0.0"
},
"tagline" : "You Know, for Search"
}3.2 安装Kibana
3.2.1 解压到/usr/local，并赋予用户es权限
c
tar -zxvf kibana-8.14.3-linux-x86_64.tar.gz -C /usr/local
chown -R es:es /usr/local/kibana-8.14.3/3.2.2 修改kibana.yml配置
bash
vim /usr/local/kibana-8.14.3/config/kibana.yml
bash
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]3.2.3 关闭ssl配置
bash
vim /usr/local/kibana-8.14.3/config/node.options
bash
# 注释掉
## --openssl-legacy-provider3.2.4 使用es用户启动
bash
# kibana也不能使用root启动
su es
nohup ./kibana &
bash
# 1、启动时的进程号可以直接kill命令停止
bash
# 2、或者使用，找到进程号再kill
ps aux | grep /src/cli/dist 
3.2.5 启动成功、测试
3.3 Logstash安装
官方文档：https://www.elastic.co/guide/en/logstash/current/first-event.html
Logstash提供了一个灵活的数据处理平台，可以用于过滤、解析、聚合、转换数据，并且支持多种插件来实现复杂的处理逻辑。这包括但不限于时间戳解析、用户自定义的脚本、日志格式转换、字段重命名等。
原理：
Logstash 事件处理管道有三个阶段：输入 → 过滤器 → 输出。
3.3.1 解压到/usr/local
c
tar -zxvf logstash-8.14.3-linux-x86_64.tar.gz -C /usr/local3.3.2 测试配置
配置测试文件：进入logstash-8.14.3文件夹下进行配置
bash
vim /usr/local/logstash-8.14.3/config/privacy_phone.logstash.conf
# logstash配置文件: privacy_phone.logstash.conf
input {
stdin {
id => "stdin_input"
}
}
filter {
grok {
match => { "message" => "(?<phone_number>\d{11})" }
}
if [phone_number] {
mutate {
add_field => { "masked_phone_number" => "%{phone_number}" }
}
ruby {
code => "
event.set('masked_phone_number', event.get('masked_phone_number').gsub(/(\d{3})\d{4}(\d{4})/, '\\1****\\2'))
"
}
mutate {
remove_field => ["phone_number"]
}
}
}
#输出到ElasticSearch
output {
elasticsearch {
hosts => ["http://127.0.0.1:9200"]
# 推送到 ElasticSearch的哪个索引
index => "testphone-%{+YYYY.MM.dd}"
#user => "elastic"
#password => "changeme"
}
}
#输出到控制台
#output {
# stdout {
# codec => rubydebug
# }
#}
bash
#进入bin目录执行
./logstash -f /usr/local/logstash-8.14.3/config/privacy_phone.logstash.conf启动成功后，输入文本。
进入kibana ： http://ip地址:5601/
这块例子有点生硬，但主旨就是logstash是可以处理数据的。
【开发文档写的很详细，无非就是数据输入，经过过滤器处理，再输出数据的流程】
3.3.3 多应用如何推送
bash
vim /usr/local/logstash-8.14.3/config/multiple.logstash.conf
input {
beats {
port => 5044
}
}
output {
if [fields][appname] == "app1" {
elasticsearch {
hosts => ["localhost:9200"]
index => "app1-%{+YYYY.MM.dd}"
}
}
}
input {
beats {
port => 5045
}
}
output {
if [fields][appname] == "app2" {
elasticsearch {
hosts => ["localhost:9200"]
index => "app2-%{+YYYY.MM.dd}"
}
}
}
bash
#进入bin目录执行
nohup ./logstash -f /usr/local/logstash-8.14.3/config/multiple.logstash.conf & 3.3.3 关闭logstash
bash
ps -ef|grep logstash
kill 进程号3.3.4 错误收集
bash
org.jruby.exceptions.SystemExit: (SystemExit) exit
提示找不到文件、修改路径即可。
3.4 Filebeat安装
3.4.1 解压（后续在各服务器下安装，把对应日志推送到logstash或者直接推给ES即可）
bash
tar -zxvf filebeat-8.14.3-linux-x86_64.tar.gz
# 进入文件夹
cd filebeat-8.14.3-linux-x86_643.4.2 新增测试配置
bash
# 新增app1_filebeat.yml
vim app1_filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /opt/elk/logs1/*.log
fields:
appname: app1 # 标志
output.logstash:
hosts: ["127.0.0.1:5044"]
bash
# 按配置文件启动
nohup ./filebeat -e -c app1_filebeat.yml &
# 模拟日志生成
mkdir /opt/elk/logs1/
cd /opt/elk/logs1/
vim info.2024-08-02.log
# 插入以下数据模拟正常日志
我是日志文件11111111111111111111111111111啊filebeat控制台输出。
kibana再对应创建下就能看见数据了。
(app2也一样，filebeat复制一份改下配置，appname:改成app2，filebeat推到logstash就会被推到对应的index)
3.4.3 关闭Filebeat
bash
ps -ef | grep filebeat
kill 进程号3.4.4 收尾工作
关于java的一些错误日志，按以上配置收集到es中时，因为是逐行收集，看着就难以排查问题，例如
bash
[2024-08-02 09:16:00.305] [xxl-job, executor ExecutorRegistryThread] ERROR c.x.job.core.util.XxlJobRemotingUtil : Connection refused (Connection refused)
java.net.ConnectException: Connection refused (Connection refused)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:607)
at sun.net.NetworkClient.doConnect(NetworkClient.java:175)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:463)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:558)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:242)
at sun.net.www.http.HttpClient.New(HttpClient.java:339)
at sun.net.www.http.HttpClient.New(HttpClient.java:357)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:1226)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect0(HttpURLConnection.java:1162)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:1056)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:990)
at com.xxl.job.core.util.XxlJobRemotingUtil.postBody(XxlJobRemotingUtil.java:99)
at com.xxl.job.core.biz.client.AdminBizClient.registry(AdminBizClient.java:42)
at com.xxl.job.core.thread.ExecutorRegistryThread$1.run(ExecutorRegistryThread.java:48)
at java.lang.Thread.run(Thread.java:748)在kibana中显示为：
修改filebeat配置
bash
vim app1_filebeat.yml
bash
filebeat.inputs:
- input_type: log
enabled: true
paths:
- /opt/elk/logs1/*.log
encoding: utf-8
fields:
appname: app1 # logstash可以用此字段判断
multiline:
pattern: '^\d{4}-\d{1,2}-\d{1,2}' # 匹配以 YYYY-MM-DD 开头的行
negate: true # 是否匹配 pattern 的情况
match: after # 将其追加到上一行之后 pattern + negate + match 组合成一条语意为: 如果匹配 YYYY-MM-DD HH:mm:ss 开头的行，则将其合并到当前行的上一行
max_lines: 200 # 最多匹配多少行，如果超出最大行数，则丢弃多余的行(默认500)
timeout: 6s # 一次合并事件的超时时间，默认为 5s
output.logstash:
hosts: ["127.0.0.1:5044"]在日志文件中插入以上报错信息，再次查看。
四、其他操作
4.1 获取所有索引
bash
GET /_cat/indices?v
4.2 删除索引
bash
DELETE /app1-2024.08.02