ELK配置转存redis缓存,采集nginx访问日志

在136服务器上部署mysql

启动mysql服务

可通过以下命令查找安装的软件包

怎么查找安装软件的日志文件位置rpm -qc mysql-server,即可显示mysql.log位置

也可通过查找配置文件中的log关键字来查找log文件日志位置

用awk命令,以=切割,输出第二个字段

rpm -ql 也可查找

编辑logstash配置文件

添加mysql日志信息配置文件

重启logstash配置文件

登录前台查看

只采集nginx日志,配置nginx_logs.conf,修改索引

看到9600端口启动成功,即配置启动成功

搜索索引,选择索引模式,添加新的索引

点击创建索引模式

重新访问nginx服务器生成新的nginx日志文件,即可加载出nginx日志文件

以时间字段作为筛选

此时显示日志配置成功,通过135服务器重新访问136nginx服务,前台显示出访问信息

添加mysql单独索引日志显示服务

但是不能连续重启nginx和mysql日志加载配置文件,需要将其配置日志文件放在一个文件夹下,进行加载显示,配置logstash.yml文件

在配置的目录下创建配置文件

用以下方式重新启动配置文件

修改文件pipelines.yml内容配置文件目录

加入该配置文件后,etc目录下会生成以下文件内容

在135服务器上安装redis服务,配置监听为全网监听

启动redis服务

进入redis,查看redis中的键值

在136上配置用redis缓存技术,将logstash采集的日志存储到redis中

重新加载配置文件在config文件夹下,执行../bin/logstash -f nginx_logs.conf

在135服务器上监控redis

虽然有访问数据,但是没有key,不知道哪里原因,重新单独测试,先写入redis中

停掉135上的elk进程,直接停掉java进程即可pkill java

编辑logstash配置文件nginx_log.conf,vim nginx_log.conf,删除之前的写入els服务模块内容

重新加载配置文件../bin/logstash -f nginx_log.conf

访问nginx测试页面

查看redis服务中的键值,即可看到访问信息

至此测试成功,下次测试同时先转存redis,在转存到els,在前台kibana页面显示出来

相关推荐
小北方城市网1 分钟前
MongoDB 分布式存储与查询优化:从副本集到分片集群
java·spring boot·redis·分布式·wpf
予枫的编程笔记3 分钟前
【MySQL修炼篇】从S锁/X锁到Next-Key Lock:MySQL锁机制硬核拆解
mysql·锁机制·行锁·间隙锁·数据库运维·数据库性能优化·死锁排查
杜子不疼.4 分钟前
用Claude Code构建AI内容创作工作流:从灵感到发布的自动化实践
运维·人工智能·自动化
草莓熊Lotso5 分钟前
从零手搓实现 Linux 简易 Shell:内建命令 + 环境变量 + 程序替换全解析
linux·运维·服务器·数据库·c++·人工智能
User_芊芊君子8 分钟前
【LeetCode原地复写零】:双指针+逆向填充,O(n)时间O(1)空间最优解!
android·linux·leetcode
Mr_Xuhhh2 小时前
MySQL核心知识梳理:从连接到查询的完整指南
数据库·sql·mysql
wsxlgg2 小时前
MySQL中count(*)、count(1)、count(字段)的区别
数据库·mysql
人工智能训练8 小时前
【极速部署】Ubuntu24.04+CUDA13.0 玩转 VLLM 0.15.0:预编译 Wheel 包 GPU 版安装全攻略
运维·前端·人工智能·python·ai编程·cuda·vllm
_F_y8 小时前
MySQL用C/C++连接
c语言·c++·mysql
微露清风9 小时前
系统性学习Linux-第二讲-基础开发工具
linux·运维·学习