Filebeat 采集数据到Elasticsearch

安装Filebeat,注意版本尽可能要和Elasticsearch 的版本一致

javascript 复制代码
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.12.1-linux-x86_64.tar.gz

tar -xzvf filebeat-7.12.1-linux-x86_64.tar.gz

mv filebeat-7.12.1-linux-x86_64/   filebeat-7.12.1

修改配置文件

1.开启输入

2.指定输出ES

ES多节点配置

javascript 复制代码
output.elasticsearch:
  hosts: ["192.169.208.111:9200", "192.169.208.112:9200", "192.169.208.113:9200"]
  loadbalance: true   # ← 默认就是 true,可省略

查看配置是否正常

javascript 复制代码
./filebeat test output

补充:filebeat.yml 生产级配置

javascript 复制代码
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /opt/module/log/1.log
    # - /path/to/your/other/*.log  <-- 可以在这里加更多文件

  # --- 核心:多行合并 (Multiline) ---
  
  # 1. 正则:匹配 Logback/Spring Boot 的标准时间头
  # 格式:2026-04-22 16:02:06
  # 解释:^表示行首,\d{4}表示年份,确保只有新的一行日志才会被识别为"开始"
  multiline.pattern: '^\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}'
  
  # 2. 策略:negate (取反)
  # 解释:如果一行 **不符合** 上面的时间格式(比如它是 "at com..." 或者 "Caused by..."),
  # 那么它就不是新日志,而是旧日志的一部分。
  multiline.negate: true
  
  # 3. 方向:after
  # 解释:把那些"不是新日志"的行,追加到上一行的末尾。
  multiline.match: after
  
  # 4. 兜底保护
  # 防止某个异常堆栈有几万行导致内存溢出,生产环境建议设置上限
  multiline.max_lines: 500

  # --- 额外优化:处理容器日志换行 (可选) ---
  # 如果你的日志是 Docker/K8s 打印出来的,有时候会被截断成很长的行,
  # 可以开启这个来合并被物理截断的行(通常以空格结尾)。
  # multiline2.pattern: '.*\s$'
  # multiline2.negate: true
  # multiline2.match: after
相关推荐
wuyk55510 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
Elasticsearch18 小时前
4 种模态、100 多种语言、1 个向量空间:Microsoft Foundry 中的 Jina Embeddings v5
elasticsearch
Elasticsearch1 天前
使用 Codex 来写入 PDF 文件并创建 AI Agent 对它进行问答
elasticsearch
草莓熊Lotso1 天前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构
岳涛1 天前
考古|搬迁 percolator 要先保住规则身份,ES 1.0 把它挪进了索引内
elasticsearch
岳涛1 天前
考古|旧查询和 _boost 在 ES 1.0 收掉,替换方向并不保证等价
elasticsearch
Elasticsearch2 天前
Elastic 与 HoneyHive 携手推进人工智能可观测性与评估
elasticsearch
wuyk5552 天前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
Elasticsearch3 天前
Java4Shell 远程代码执行漏洞 - CVE-2026-114938
elasticsearch