如何让FileBeat支持http的output插件

目录

      • [1 缘由](#1 缘由)
      • [2 编译filebeat](#2 编译filebeat)
      • [3 配置虚拟机访问外网](#3 配置虚拟机访问外网)
      • [4 编译beats-output-http](#4 编译beats-output-http)
        • [4.1 使用本地包](#4.1 使用本地包)
        • [4.2 发布在线包](#4.2 发布在线包)
      • [5 测试](#5 测试)
      • [6 beats-output-http的部分解释](#6 beats-output-http的部分解释)

1 缘由

官网的filebeat只有以下几种output插件

  • Elasticsearch Service
  • Elasticsearch
  • Logstash
  • Kafka
  • Redis
  • File
  • Console

由于需要将数据推送到接口,需要能够支持类似logstash中的http插件。

2 编译filebeat

依照Beats的文档编译filebeat:

shell 复制代码
mkdir -p ${GOPATH}/src/github.com/elastic
git clone https://github.com/elastic/beats ${GOPATH}/src/github.com/elastic/beats

进入到beats根目录,执行make mage

最后进入到filebeat目录,执行mage build

3 配置虚拟机访问外网

在用golang编译时,可能需要从外部下载一些包,如果使用虚拟机,在默认情况下,宿主机可以科学上网,但是虚拟机不行,此时,可以使用宿主机作为虚拟机的代理。

  • 宿主机开启代理,例如,对于Clash来说,开启"允许局域网"和"TUN模式"
  • 在虚拟机中测试是否能够连接宿主机上的端口
  • 配置http_proxy和https_proxy环境变量

4 编译beats-output-http

按照文档,直接在beats/filebeat/main.go的import部分加上_ "github.com/raboof/beats-output-http/http",然后重新编译即可。

4.1 使用本地包

在进行编译时,发现会报错:

复制代码
http/client.go:82:19: assignment mismatch: 2 variables but transport.TLSDialer returns 1 value

应该是libbeat中的代码有变化导致的,需要修改代码,将beats-output-http克隆到本地后,需要在编译时使用本地包,可以用两种方式:

  • 直接修改go.mod:在beats/go.mod中找到beats-output-http所在的行,然后在beats/go.mod文件最后增加一行replace github.com/luofengmacheng/beats-output-http v0.0.0-20230524012217-1e747e762355 => /root/src/github.com/elastic/beats/libbeat/outputs/http,其中,模块名和版本与之前找到的beats-output-http的行一致,后面的路径就是beats-output-http的路径(此处重命名为http)。
  • 使用go mod edit命令:go mod edit -require github.com/luofengmacheng/beats-output-http@v0.0.0-20230524012217-1e747e762355 -replace github.com/luofengmacheng/beats-output-http@v0.0.0-20230524012217-1e747e762355=/root/src/github.com/elastic/beats/libbeat/outputs/http

这里需要注意:不要删除beats/go.mod的require中的beats-output-http的行,否则会报错:and is replaced but not required

然后就可以进入filebeat目录进行编译了。

4.2 发布在线包

当需要对beats-output-http进行bug修复时,可以将beats-output-http从原来的仓库fork过来,然后进行bug修复。那么,在使用beats-output-http时就需要使用新的仓库,此时需要进行两个调整:

  • 修改beats-output-http/go.mod中的模块名,改成新的仓库路径
  • 创建tag

然后删除beats/go.mod中原来的模块信息,再进行编译。

5 测试

编译完成后,会在beats/filebeat目录下生成二进制文件filebeat,创建配置文件filebeat.yaml:

yaml 复制代码
filebeat.inputs:
    - type: log
      enabled: true
      paths:
      - /etc/kubernetes/audit/audit.log

output:
    http:
        hosts: ["IP:HOST"]

测试:./filebeat run -c ./filebeat.yaml -e

6 beats-output-http的部分解释

http的output本身的实现是非常简单的,就是将数据推送到某个url,主要的工作就是要对接beats的配置和插件管理工作。

第一步:让beats知道有这样一个http插件

在libbeat的outputs包中,RegisterType()用于注册插件,其实就是将插件的名称和构造函数保存起来:

golang 复制代码
// beats-output-http/http/http.go
func init() {
	outputs.RegisterType("http", MakeHTTP)
}
golang 复制代码
// libbeat/outputs/output_reg.go
// RegisterType registers a new output type.
func RegisterType(name string, f Factory) {
        if outputReg[name] != nil {
                panic(fmt.Errorf("output type  '%v' exists already", name))
        }
        outputReg[name] = f
}

就是将插件的信息保存到内部的outputReg的map中,在初始化时就可以调用插件的构造函数。插件的构造函数就是解析配置,创建后端的Client对象。

第二步:Client的接口实现

filebeat调用构造函数完成初始化后,http插件就需要接收数据,然后实现具体的业务逻辑。

相关推荐
隆里卡那唔7 小时前
在dify中通过http请求neo4j时为什么需要将localhost变为host.docker.internal
http·docker·neo4j
大只鹅8 小时前
解决 Spring Boot 对 Elasticsearch 字段没有小驼峰映射的问题
spring boot·后端·elasticsearch
~山有木兮8 小时前
LiteHub中间件之限流实现
网络·http·中间件
游戏开发爱好者810 小时前
iOS App首次启动请求异常调试:一次冷启动链路抓包与初始化流程修复
websocket·网络协议·tcp/ip·http·网络安全·https·udp
2501_9151063210 小时前
频繁迭代下完成iOS App应用上架App Store:一次快速交付项目的完整回顾
websocket·网络协议·tcp/ip·http·网络安全·https·udp
GO兔13 小时前
开篇:GORM入门——Go语言的ORM王者
开发语言·后端·golang·go
00后程序员张16 小时前
免Mac上架实战:全平台iOS App上架流程的工具协作经验
websocket·网络协议·tcp/ip·http·网络安全·https·udp
HGW68917 小时前
基于 Elasticsearch 实现地图点聚合
java·elasticsearch·高德地图
笑衬人心。18 小时前
HTTPS详解:原理 + 加解密过程 + 面试问答
java·网络协议·http·面试·https
bing_15818 小时前
MQTT 和 HTTP 有什么本质区别?
网络·网络协议·http