LogStash输入插件详解

概述

官方文档:https://www.elastic.co/guide/en/logstash/7.17/input-plugins.html

输入插件使 Logstash 能够读取特定的事件源。

LogStash 提供了 50 + 种输入插件,常见类型包括:

  • 文件类:file, s3
  • 网络类:beats, tcp, udp, http, kafka
  • 数据库类:jdbc, mongodb,redis
  • 系统类:syslog, eventlog, windows_eventlog
  • 特殊类:stdin, generator

所有输入插件都支持以下核心参数:

  • add_field:值类型是哈希,默认值是{},其主要作用是向事件添加字段
  • codec:值类型是编解码器,默认值是plain,
  • enable_metric:值类型为布尔值,默认值是true,是否开启metric指标
  • id:值类型为字符串,此设置没有默认值。为插件配置添加一个唯一的ID。
  • tags:为事件添加标签,值类型是数组
  • type:值类型为字符串,type向此输入处理的所有事件添加一个字段。可以在 Kibana 中搜索它

常用输入插件-Stdin

Stdin是从标准输入读取事件。默认情况下,每个事件都被视为一行。如果需要合并多行,则需要使用多行编解码器。

stdin插件主要用于测试和开发环境,不适合生产环境的高吞吐量场景。

常用字段解释

  • add_field:值类型是哈希,默认值是{},其主要作用是向事件添加字段
  • codec:值类型是编解码器,默认值是line,
  • enable_metric:值类型为布尔值,默认值是true,是否开启metric指标
  • id:值类型为字符串,此设置没有默认值。为插件配置添加一个唯一的ID。
  • tags:为事件添加标签,值类型是数组
  • type:值类型为字符串,type向此输入处理的所有事件添加一个字段。可以在 Kibana 中搜索它

实战

复制代码
[root@ELK01 ~/logstash/config]# cat stdin.conf
# 输入
input {
    stdin {
        type => "stdin"
        id => "my_stdin"
        tags => ["stdin","my_stdin"]
        add_field => {
            "name" => "张三"
            "age" => 18
        }
        codec => line
    }
}

# 输出,以debug方式输出
output {
    stdout {
        codec => rubydebug
    }
}

启动LogStash验证

复制代码
[root@ELK01 ~/logstash/config]# logstash -f ./stdin.conf
# 打印的日志信息省略
1 #输入1,然后回车
{
          "age" => "18",                      #add_field添加的字段
          "host" => "ELK01",
          "name" => "张三",
          "type" => "stdin"                  # 指定的type类型
      "@version" => "1",
    "@timestamp" => 2025-06-15T05:34:25.042Z,
          "tags" => [                         #添加的tag
        [0] "stdin",
        [1] "my_stdin"
    ],
       "message" => "1",                     #输入的字段

}

常用输入插件-file

参考文档:https://www.elastic.co/guide/en/logstash/7.17/plugins-inputs-file.html

在 Logstash 中,file输入插件是最常用的输入插件之一,主要用于从文件系统读取数据,常见的使用场景包括收集日志文件、监控文件变更,file插件能够读取所有的文件

常用字段解释

  • path(必需)

    • 功能:用于指定要监控的文件路径,可以使用绝对路径或相对路径。

    • 注意事项:

      • 若路径指向的是目录而非文件,该插件会递归读取目录下的所有文件。
      • 要保证 Logstash 进程拥有读取这些文件的权限。

      path => ["/var/log/.log", "/data/app/.out"] # 支持使用通配符匹配多个文件

  • start_position

    • 功能:确定首次读取文件时的起始位置。

    • 可选值:

      • beginning:从文件开头开始读取,适用于历史数据迁移的场景。
      • end(默认值):从文件末尾开始读取,适合实时日志收集的情况。

      start_position => "beginning"

  • sincedb_path

    • 功能:指定 sincedb 文件的存储位置,该文件用于记录已读取文件的偏移量。

    • 默认值:$HOME/.sincedb_<hash>

      sincedb_path => "/data/logstash/sincedb" # 生产环境建议使用专用目录

  • ignore_older

    • 功能:设置一个时间阈值,超过该阈值的文件将被忽略。

    • 单位:秒、分钟、小时、天等,例如3600(3600 秒)、2h(2 小时)。

      ignore_older => "1d" # 忽略超过1天未修改的文件

  • exclude

    • 功能:用于排除不需要监控的文件。

      exclude => [".gz", ".bak"] # 排除压缩文件和备份文件

  • stat_interval

    • 功能:设置检查文件更新的时间间隔。

    • 默认值:1(秒)

      stat_interval => 5 # 每5秒检查一次文件更新

  • discover_interval

    • 功能:设置扫描目录以发现新文件的时间间隔,在监控目录时会用到。

    • 默认值:15(秒)

      discover_interval => 30 # 每30秒扫描一次目录

  • file_completed_action与file_completed_log_path

    • 用于处理已完成读取的文件

      file_completed_action => "log" # 可选值: log, delete, archive
      file_completed_log_path => "/var/log/logstash/completed_files.log"

  • file_sort_by与file_sort_direction
    控制文件读取顺序

    file_sort_by => "last_modified" # 可选值: path, last_modified
    file_sort_direction => "asc" # 可选值: asc(升序), desc(降序)

  • delimiter

    • 指定行分隔符(适用于非标准换行符的文件)

      delimiter => "\r\n" # Windows格式换行符

  • max_open_files

    • 限制最大打开文件数(防止系统资源耗尽)

      max_open_files => 1024 # 默认值为4095

  • sincedb_write_interval

    • 设置 sincedb 写入间隔(提高性能)

      sincedb_write_interval => 15 # 每15秒写入一次sincedb

  • sincedb_clean_after

    • 清理过期的 sincedb 记录

      sincedb_clean_after => "7d" # 清理7天未访问的文件记录,默认值为14天

  • mode
    选择监控模式(默认是tail,即追加模式)

    mode => "read" # 一次性读取文件,读完即关闭,默认值为tail

实战

定义配置文件

复制代码
[root@ELK01 ~/logstash/config]# cat file.conf
input {
    file {
        id => "my_app_log"
        codec => "plain"
        tags => ["file","myfile"]
        add_field => {
            "name" => "zhangsan"
            "age" => 18
        }
        type => "file"
        # 读取日志的文件路径
        path => "/tmp/apps*.log"
        # 读取的开始位置
        # 该参数剩下的前提条件时"sincedb*"文件中没有对新文件的记录.
        start_position => beginning
        # sincedb文件
        sincedb_path => "/data/logstash/sincedb"
        ignore_older => "3d"
        # 读取频率,1秒
        stat_interval => 1
        max_open_files => 1024
        sincedb_write_interval => 10
        mode => tail
    }
}
output {
    stdout {
        codec => rubydebug
    }
}

启动logstash

复制代码
[root@ELK01 ~/logstash/config]# logstash -f ./file.conf
[2025-06-15T14:22:35,596][INFO ][logstash.javapipeline    ][main] Pipeline Java execution initialization time {"seconds"=>0.58}
[2025-06-15T14:22:35,657][INFO ][logstash.javapipeline    ][main] Pipeline started {"pipeline.id"=>"main"}
[2025-06-15T14:22:35,717][INFO ][filewatch.observingtail  ][main][my_app_log] START, creating Discoverer, Watch with file and sincedb collections
[2025-06-15T14:22:35,734][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}

写入内容至/tmp/apps01.log

复制代码
[root@ELK01 /tmp]# echo hello logstash file >> apps.log

查看控制台

复制代码
{
      "@version" => "1",
          "host" => "ELK01",
          "path" => "/tmp/apps.log",
       "message" => "hello logstash file", # 我们写入文件的内容
          "type" => "file",
          "name" => "zhangsan",
          "tags" => [
        [0] "file",
        [1] "myfile"
    ],
    "@timestamp" => 2025-06-15T06:24:17.191Z,
           "age" => "18"
}

查看sincedb文件

复制代码
[root@ELK01 /tmp]# cat /data/logstash/sincedb
2490408 0 64768 44 1749968657.193113 /tmp/apps.log

# 2490408表示文件的inodb
# 0 表示磁盘分区
# 64768表示文件当前偏移量,单位字节
# 44表示记录文件元数据(如权限、所有者)最后修改的时间戳(秒级)。
# /tmp/apps.log表示读取的日志文件

持续更新其它插件