ELK系列-(六)Redis也能作为消息队列?(下)

一、前文回顾 🔍

在前面的ELK系列中,我们已经搭建了ELK的核心组件,包括:

系统架构图 📊

有关整个系统架构的部署,您可以回顾前面的文章。今天,我们将继续探讨Redis在ELK系统中的落地

关于Redis的选型、Beats的部署使用,请翻阅往期博客哦

二、Beat发送消息到Redis

第一步就是将Beats的消息发送到Redis,因此我们需要修改Beats的配置如下:

yml 复制代码
output.redis:
  # 启用或禁用输出模块的布尔标志。
  enabled: true

  # 要连接的 Redis 服务器列表。如果启用了负载均衡,则事件将分发到列表中的服务器。如果某个服务器无法访问,则事件仅分发到可访问的服务器。
  # hosts 设置支持带有自定义密码的 redis 和 rediss URLs,例如 redis://:password@localhost:6379。
  hosts: ["121.**.60.**:6379"]

  # 用于认证 Redis 的密码。默认不使用认证。
  password: your_password

  # 事件发布到的 Redis 数据库号。默认值为 0。
  db: 9

  # 用于发布事件的 Redis 数据类型。如果数据类型为 list,则使用 Redis RPUSH 命令。如果数据类型为 channel,则使用 Redis PUBLISH 命令。默认值为 list。
  datatype: list
  
  # 配置的每个主机用于发布事件到 Redis 的工作线程数。将此设置与负载均衡选项一起使用。例如,如果你有 2 个主机和 3 个工作线程,总共启动 6 个工作线程(每个主机 3 个)。
  worker: 1

三、 LogStash从Redis获取消息

改为多Pipeline

以前单管道,现在要引入Beats消息,要改为多管道

bash 复制代码
# 原本
/usr/share/logstash/pipeline/logstash.conf
# 改造后
/usr/share/logstash/pipeline/conf.d/metricbeat.conf
/usr/share/logstash/pipeline/conf.d/application_log.conf

配置文件(logstash.yml)也挂载出来:

bash 复制代码
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]
path.config: "/usr/share/logstash/pipeline/conf.d/*.conf"
metricbeat配置

其配置存在特殊性,输出如果和普通的一样配置,不会纳入Kibana的Observability视图

经过反复阅读文档,调试,发现Metricbeat使用的是数据流,即多个索引的特殊组合。所以此处要使用数据流作为输出

数据流会在下一篇讲哦

修改metricbeat.conf,使用如下配置:

bash 复制代码
# 从redis获取
input {
  redis {
    host => "121.**.60.**"
    port => 6379
    password => "**"
    data_type => "channel"
    key => "metricbeat"
    db => 9
    threads => 1
    tags => ["metricbeat"]
  }
}

# metricbeat收集的数据打时间标签
filter {
  if "metricbeat" in [tags] {
    date {
      match => ["timestamp", "yyyy-MM-dd HH:mm:ss"]
      timezone => "Asia/Shanghai"
      target => "@timestamp"
    }
  }
}

# 指定输出,数据流相关信息
output {
  if "metricbeat" in [tags] {
    elasticsearch {
      hosts => ["es:9200"]
      data_stream => true
      data_stream_type => "metrics"
      data_stream_dataset => "8.15.0"
      data_stream_namespace => "metricbeat"
    }
  }
}

此处不太能写入metricbeat原生数据流,写入到新数据流就可以,Kibana能正常识别

完成之后可以到kibana中的索引管理里面去看哦!

相关推荐
要一起看日出4 分钟前
MVCC-多版本并发控制
数据库·mysql·mvcc
Hx__5 分钟前
MySQL InnoDB 的 MVCC 机制
数据库·mysql
速易达网络6 分钟前
ASP.NET MVC 连接 MySQL 数据库查询示例
数据库·asp.net·mvc
灞波儿奔波儿灞7 分钟前
Lucky STUN穿透结合群晖NAS实现docker下transmission监听端口动态更新
docker·群晖·stun·lucky
无名客016 分钟前
redis分布式锁为什么采用Lua脚本实现。而不是事务
redis·分布式·lua·事务
玉衡子43 分钟前
MySQL基础架构全面解析
数据库·后端
梦中的天之酒壶1 小时前
Redis Stack扩展功能
数据库·redis·bootstrap
GreatSQL1 小时前
GreatSQL分页查询优化案例实战
数据库
Leo.yuan1 小时前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
小毛驴8501 小时前
所有微服务部署都使用一个git地址,并且通过docker部署各个服务的情况下,如何编写mvn指令来处理各个服务。
git·docker·微服务