LogStash输入插件详解

huangSir-devops2025-06-15 20:19

概述

官方文档：https://www.elastic.co/guide/en/logstash/7.17/input-plugins.html

输入插件使 Logstash 能够读取特定的事件源。

LogStash 提供了 50 + 种输入插件，常见类型包括：

  • 文件类：file, s3
  • 网络类：beats, tcp, udp, http, kafka
  • 数据库类：jdbc, mongodb，redis
  • 系统类：syslog, eventlog, windows_eventlog
  • 特殊类：stdin, generator

所有输入插件都支持以下核心参数：

  • add_field：值类型是哈希，默认值是{}，其主要作用是向事件添加字段
  • codec：值类型是编解码器，默认值是plain，
  • enable_metric：值类型为布尔值，默认值是true，是否开启metric指标
  • id：值类型为字符串，此设置没有默认值。为插件配置添加一个唯一的ID。
  • tags：为事件添加标签，值类型是数组
  • type：值类型为字符串，type向此输入处理的所有事件添加一个字段。可以在 Kibana 中搜索它

常用输入插件-Stdin

Stdin是从标准输入读取事件。默认情况下，每个事件都被视为一行。如果需要合并多行，则需要使用多行编解码器。

stdin插件主要用于测试和开发环境，不适合生产环境的高吞吐量场景。

常用字段解释

  • add_field：值类型是哈希，默认值是{}，其主要作用是向事件添加字段
  • codec：值类型是编解码器，默认值是line，
  • enable_metric：值类型为布尔值，默认值是true，是否开启metric指标
  • id：值类型为字符串，此设置没有默认值。为插件配置添加一个唯一的ID。
  • tags：为事件添加标签，值类型是数组
  • type：值类型为字符串，type向此输入处理的所有事件添加一个字段。可以在 Kibana 中搜索它

实战

复制代码 
[root@ELK01 ~/logstash/config]# cat stdin.conf
# 输入
input {
    stdin {
        type => "stdin"
        id => "my_stdin"
        tags => ["stdin","my_stdin"]
        add_field => {
            "name" => "张三"
            "age" => 18
        }
        codec => line
    }
}

# 输出，以debug方式输出
output {
    stdout {
        codec => rubydebug
    }
}

启动LogStash验证

复制代码 
[root@ELK01 ~/logstash/config]# logstash -f ./stdin.conf
# 打印的日志信息省略
1 #输入1，然后回车
{
          "age" => "18",                      #add_field添加的字段
          "host" => "ELK01",
          "name" => "张三",
          "type" => "stdin"                  # 指定的type类型
      "@version" => "1",
    "@timestamp" => 2025-06-15T05:34:25.042Z,
          "tags" => [                         #添加的tag
        [0] "stdin",
        [1] "my_stdin"
    ],
       "message" => "1",                     #输入的字段

}

常用输入插件-file

参考文档：https://www.elastic.co/guide/en/logstash/7.17/plugins-inputs-file.html

在 Logstash 中，file输入插件是最常用的输入插件之一，主要用于从文件系统读取数据，常见的使用场景包括收集日志文件、监控文件变更，file插件能够读取所有的文件

常用字段解释

  • path（必需）

    • 功能：用于指定要监控的文件路径，可以使用绝对路径或相对路径。

    • 注意事项：

      • 若路径指向的是目录而非文件，该插件会递归读取目录下的所有文件。
      • 要保证 Logstash 进程拥有读取这些文件的权限。

      path => ["/var/log/.log", "/data/app/.out"] # 支持使用通配符匹配多个文件

  • start_position

    • 功能：确定首次读取文件时的起始位置。

    • 可选值：

      • beginning：从文件开头开始读取，适用于历史数据迁移的场景。
      • end（默认值）：从文件末尾开始读取，适合实时日志收集的情况。

      start_position => "beginning"

  • sincedb_path

    • 功能：指定 sincedb 文件的存储位置，该文件用于记录已读取文件的偏移量。

    • 默认值：$HOME/.sincedb_<hash>

      sincedb_path => "/data/logstash/sincedb" # 生产环境建议使用专用目录

  • ignore_older

    • 功能：设置一个时间阈值，超过该阈值的文件将被忽略。

    • 单位：秒、分钟、小时、天等，例如3600（3600 秒）、2h（2 小时）。

      ignore_older => "1d" # 忽略超过1天未修改的文件

  • exclude

    • 功能：用于排除不需要监控的文件。

      exclude => [".gz", ".bak"] # 排除压缩文件和备份文件

  • stat_interval

    • 功能：设置检查文件更新的时间间隔。

    • 默认值：1（秒）

      stat_interval => 5 # 每5秒检查一次文件更新

  • discover_interval

    • 功能：设置扫描目录以发现新文件的时间间隔，在监控目录时会用到。

    • 默认值：15（秒）

      discover_interval => 30 # 每30秒扫描一次目录

  • file_completed_action与file_completed_log_path

    • 用于处理已完成读取的文件

      file_completed_action => "log" # 可选值: log, delete, archive
      file_completed_log_path => "/var/log/logstash/completed_files.log"

  • file_sort_by与file_sort_direction
    控制文件读取顺序

    file_sort_by => "last_modified" # 可选值: path, last_modified
    file_sort_direction => "asc" # 可选值: asc(升序), desc（降序）

  • delimiter

    • 指定行分隔符（适用于非标准换行符的文件）

      delimiter => "\r\n" # Windows格式换行符

  • max_open_files

    • 限制最大打开文件数（防止系统资源耗尽）

      max_open_files => 1024 # 默认值为4095

  • sincedb_write_interval

    • 设置 sincedb 写入间隔（提高性能）

      sincedb_write_interval => 15 # 每15秒写入一次sincedb

  • sincedb_clean_after

    • 清理过期的 sincedb 记录

      sincedb_clean_after => "7d" # 清理7天未访问的文件记录，默认值为14天

  • mode
    选择监控模式（默认是tail，即追加模式）

    mode => "read" # 一次性读取文件，读完即关闭，默认值为tail

实战

定义配置文件

复制代码 
[root@ELK01 ~/logstash/config]# cat file.conf
input {
    file {
        id => "my_app_log"
        codec => "plain"
        tags => ["file","myfile"]
        add_field => {
            "name" => "zhangsan"
            "age" => 18
        }
        type => "file"
        # 读取日志的文件路径
        path => "/tmp/apps*.log"
        # 读取的开始位置
        # 该参数剩下的前提条件时"sincedb*"文件中没有对新文件的记录.
        start_position => beginning
        # sincedb文件
        sincedb_path => "/data/logstash/sincedb"
        ignore_older => "3d"
        # 读取频率，1秒
        stat_interval => 1
        max_open_files => 1024
        sincedb_write_interval => 10
        mode => tail
    }
}
output {
    stdout {
        codec => rubydebug
    }
}

启动logstash

复制代码 
[root@ELK01 ~/logstash/config]# logstash -f ./file.conf
[2025-06-15T14:22:35,596][INFO ][logstash.javapipeline    ][main] Pipeline Java execution initialization time {"seconds"=>0.58}
[2025-06-15T14:22:35,657][INFO ][logstash.javapipeline    ][main] Pipeline started {"pipeline.id"=>"main"}
[2025-06-15T14:22:35,717][INFO ][filewatch.observingtail  ][main][my_app_log] START, creating Discoverer, Watch with file and sincedb collections
[2025-06-15T14:22:35,734][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}

写入内容至/tmp/apps01.log

复制代码 
[root@ELK01 /tmp]# echo hello logstash file >> apps.log

查看控制台

复制代码 
{
      "@version" => "1",
          "host" => "ELK01",
          "path" => "/tmp/apps.log",
       "message" => "hello logstash file", # 我们写入文件的内容
          "type" => "file",
          "name" => "zhangsan",
          "tags" => [
        [0] "file",
        [1] "myfile"
    ],
    "@timestamp" => 2025-06-15T06:24:17.191Z,
           "age" => "18"
}

查看sincedb文件

复制代码 
[root@ELK01 /tmp]# cat /data/logstash/sincedb
2490408 0 64768 44 1749968657.193113 /tmp/apps.log

# 2490408表示文件的inodb
# 0 表示磁盘分区
# 64768表示文件当前偏移量，单位字节
# 44表示记录文件元数据（如权限、所有者）最后修改的时间戳（秒级）。
# /tmp/apps.log表示读取的日志文件

持续更新其它插件

热门推荐
01集群聊天服务器---MySQL数据库的建立02GPU 进阶笔记（二）：华为昇腾 910B GPU03Coze扣子平台完整体验和实践（附国内和国际版对比）04使用Ruby接入实时行情API教程05Word粘贴时出现“运行时错误53,文件未找到：MathPage.WLL“的解决方案06扣子（coze）实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解07Java学习第十五部分——MyBatis08扣子空间的使用教程与大模型技术思考09DeepSeek各版本说明与优缺点分析10基于odoo17的设计模式详解---装饰模式