ELK集群 日志中心集群、kafka、logstash

ES:用来日志存储

Logstash:用来日志的搜集,进行日志格式转换并且传送给别人(转发)

Kibana:主要用于日志的展示和分析

kafka

Filebeat:搜集文件数据

es-1

本地解析

vi /etc/hosts

scp /etc/hosts es-2:/etc/hosts

scp /etc/hosts es-3:/etc/hosts

yum -y install wget

安装配置jdk

wget 8u191

scp -3

tar xf jdk-8u191-linux-x64.tar.gz -C /usr/local/

root@es-1 \~# vim /etc/profile

JAVA_HOME=/usr/local/java

PATH=JAVA_HOME/bin:PATH

export JAVA_HOME PATH

root@es-1\~# source /etc/profile

安装配置ES

useradd elsearch

ssh es-2 useradd elsearch

ssh es-3 useradd elsearch

echo "123456" | passwd --stdin "elsearch"

wget els包

vim /usr/local/elasticsearch/config/elasticsearch.yml

(都删了)

cluster.name: xingdiancloud-elk

node.name: es-1

node.master: true

node.data: true

path.data: /data/elasticsearch/data

path.logs: /data/elasticsearch/logs

bootstrap.memory_lock: false

bootstrap.system_call_filter: false

network.host: 0.0.0.0

http.port: 9200

discovery.zen.ping.unicast.hosts: "es-1", "es-2","es-3"

discovery.zen.ping_timeout: 150s

discovery.zen.fd.ping_retries: 10

client.transport.ping_timeout: 60s

http.cors.enabled: true

http.cors.allow-origin: "*"

创建ES数据及日志存储目录

mkdir -p /data/elasticsearch/{logs,data}

scp /usr/local/elasticsearch/config/elasticsearch.yml es-3:/usr/local/elasticsearch/config/elasticsearch.yml

修改安装目录及存储目录权限

系统优化

vi /etc/security/limits.conf

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

echo "vm.max_map_count=262144" >> /etc/sysctl.conf

sysctl -p

su - elsearch -c "cd /usr/local/elasticsearch && nohup bin/elasticsearch &"

es-2

echo "123456" | passwd --stdin "elsearch"

mkdir -p /data/elasticsearch/{logs,data}

echo "vm.max_map_count=262144" >> /etc/sysctl.conf

sysctl -p

su - elsearch -c "cd /usr/local/elasticsearch && nohup bin/elasticsearch &"

ss -antpl //看9200

es-3

echo "123456" | passwd --stdin "elsearch"

mkdir -p /data/elasticsearch/{logs,data}

vim /usr/local/elasticsearch-6.5.4/config/elasticsearch.yml (改名字)

echo "vm.max_map_count=262144" >> /etc/sysctl.conf

sysctl -p

su - elsearch -c "cd /usr/local/elasticsearch && nohup bin/elasticsearch &"

ss -antpl //看9200

浏览器访问:IP:9300

kibana

本地解析

vi /etc/hosts

IP es-1、2、3

上传kibana包

vi /usr/local/kibana/config/kibana.yml

server.port: 5601

server.host: "172.16.244.28"

elasticsearch.url: "http://172.16.244.25:9200"

kibana.index: ".kibana"

jobs

ss -antpl 看端口5600

浏览器访问 IP :5601

Nginx安装反向代理

安装

yum -y install nginx httpd-tools

验证节点与kibana时间

三:logstash部署(新机器)

安装jdk8

vi /etc/hosts

ip es-1

vim /etc/profile

JAVA_HOME=/usr/local/java

PATH=JAVA_HOME/bin:PATH

export JAVA_HOME PATH

source /etc/profile

java -version

2.安装logstash

上传logstash包

vi /opt/messages.conf

执行logstash

logstash -f /opt/messages.conf

相关推荐
wuhanzhanhui8 分钟前
从芯片到精密制造:2026武汉电子元器件、材料及生产设备展会见证微观世界的跃迁
大数据·人工智能
hey you~10 分钟前
400电话选型技术测评:一个开发视角的线路质量评估方案
运维·网络·数据库·400电话·企业通信
百胜软件@百胜软件10 分钟前
百胜软件推出RT业务:零售技术服务全链路飞轮如何助力品牌商“降本+增收”?
大数据·人工智能·零售
筱羽_筱羽18 分钟前
跟着“Ubuntu18.04/20.04编译Linux5.10.76+Xenomai-3.2.1+IgH”教程遇到的问题
linux·运维·ubuntu
数据小玩子21 分钟前
会员留存率低?告别粗放式触达,用数据标签+BI构建“留量“护城河
大数据·数据运营·助睿数智·会员留存
科技侃谈29 分钟前
2026年杭州医疗大模型wisediag相关产品梳理与行业观察
大数据·人工智能
SelectDB技术团队1 小时前
AB 实验指标计算场景:Apache Doris / SelectDB 的技术能力、选型对比与实践
大数据·数据库·数据分析·apache·用户运营·apache doris·selectdb
湘美书院--湘美谈教育1 小时前
湘美谈教育湘美书院绥宁文学系列:AI时代的小说,雪峰号
大数据·人工智能·深度学习·机器学习·生活
汤姆yu1 小时前
面向具身智能的物理视频模拟器:蚂蚁灵波LingBot-Video开源模型全解析
java·大数据·人工智能·gpt·开源·大模型·音视频
一枚NPC1 小时前
Timbal AI 音乐创作与商业应用实战指南
大数据·人工智能·机器学习