概述
官方文档:https://www.elastic.co/guide/en/logstash/7.17/input-plugins.html
输入插件使 Logstash 能够读取特定的事件源。
LogStash 提供了 50 + 种输入插件,常见类型包括:
- 文件类:file, s3
- 网络类:beats, tcp, udp, http, kafka
- 数据库类:jdbc, mongodb,redis
- 系统类:syslog, eventlog, windows_eventlog
- 特殊类:stdin, generator
所有输入插件都支持以下核心参数:
- add_field:值类型是哈希,默认值是{},其主要作用是向事件添加字段
- codec:值类型是编解码器,默认值是plain,
- enable_metric:值类型为布尔值,默认值是true,是否开启metric指标
- id:值类型为字符串,此设置没有默认值。为插件配置添加一个唯一的ID。
- tags:为事件添加标签,值类型是数组
- type:值类型为字符串,type向此输入处理的所有事件添加一个字段。可以在 Kibana 中搜索它
常用输入插件-Stdin
Stdin是从标准输入读取事件。默认情况下,每个事件都被视为一行。如果需要合并多行,则需要使用多行编解码器。
stdin插件主要用于测试和开发环境,不适合生产环境的高吞吐量场景。
常用字段解释
- add_field:值类型是哈希,默认值是{},其主要作用是向事件添加字段
- codec:值类型是编解码器,默认值是line,
- enable_metric:值类型为布尔值,默认值是true,是否开启metric指标
- id:值类型为字符串,此设置没有默认值。为插件配置添加一个唯一的ID。
- tags:为事件添加标签,值类型是数组
- type:值类型为字符串,type向此输入处理的所有事件添加一个字段。可以在 Kibana 中搜索它
实战
[root@ELK01 ~/logstash/config]# cat stdin.conf
# 输入
input {
stdin {
type => "stdin"
id => "my_stdin"
tags => ["stdin","my_stdin"]
add_field => {
"name" => "张三"
"age" => 18
}
codec => line
}
}
# 输出,以debug方式输出
output {
stdout {
codec => rubydebug
}
}
启动LogStash验证
[root@ELK01 ~/logstash/config]# logstash -f ./stdin.conf
# 打印的日志信息省略
1 #输入1,然后回车
{
"age" => "18", #add_field添加的字段
"host" => "ELK01",
"name" => "张三",
"type" => "stdin" # 指定的type类型
"@version" => "1",
"@timestamp" => 2025-06-15T05:34:25.042Z,
"tags" => [ #添加的tag
[0] "stdin",
[1] "my_stdin"
],
"message" => "1", #输入的字段
}
常用输入插件-file
参考文档:https://www.elastic.co/guide/en/logstash/7.17/plugins-inputs-file.html
在 Logstash 中,file输入插件是最常用的输入插件之一,主要用于从文件系统读取数据,常见的使用场景包括收集日志文件、监控文件变更,file插件能够读取所有的文件
常用字段解释
-
path(必需)
-
功能:用于指定要监控的文件路径,可以使用绝对路径或相对路径。
-
注意事项:
- 若路径指向的是目录而非文件,该插件会递归读取目录下的所有文件。
- 要保证 Logstash 进程拥有读取这些文件的权限。
path => ["/var/log/.log", "/data/app/.out"] # 支持使用通配符匹配多个文件
-
-
start_position
-
功能:确定首次读取文件时的起始位置。
-
可选值:
- beginning:从文件开头开始读取,适用于历史数据迁移的场景。
- end(默认值):从文件末尾开始读取,适合实时日志收集的情况。
start_position => "beginning"
-
-
sincedb_path
-
功能:指定 sincedb 文件的存储位置,该文件用于记录已读取文件的偏移量。
-
默认值:
$HOME/.sincedb_<hash>
sincedb_path => "/data/logstash/sincedb" # 生产环境建议使用专用目录
-
-
ignore_older
-
功能:设置一个时间阈值,超过该阈值的文件将被忽略。
-
单位:秒、分钟、小时、天等,例如3600(3600 秒)、2h(2 小时)。
ignore_older => "1d" # 忽略超过1天未修改的文件
-
-
exclude
-
功能:用于排除不需要监控的文件。
exclude => [".gz", ".bak"] # 排除压缩文件和备份文件
-
-
stat_interval
-
功能:设置检查文件更新的时间间隔。
-
默认值:1(秒)
stat_interval => 5 # 每5秒检查一次文件更新
-
-
discover_interval
-
功能:设置扫描目录以发现新文件的时间间隔,在监控目录时会用到。
-
默认值:15(秒)
discover_interval => 30 # 每30秒扫描一次目录
-
-
file_completed_action与file_completed_log_path
-
用于处理已完成读取的文件
file_completed_action => "log" # 可选值: log, delete, archive
file_completed_log_path => "/var/log/logstash/completed_files.log"
-
-
file_sort_by与file_sort_direction
控制文件读取顺序file_sort_by => "last_modified" # 可选值: path, last_modified
file_sort_direction => "asc" # 可选值: asc(升序), desc(降序) -
delimiter
-
指定行分隔符(适用于非标准换行符的文件)
delimiter => "\r\n" # Windows格式换行符
-
-
max_open_files
-
限制最大打开文件数(防止系统资源耗尽)
max_open_files => 1024 # 默认值为4095
-
-
sincedb_write_interval
-
设置 sincedb 写入间隔(提高性能)
sincedb_write_interval => 15 # 每15秒写入一次sincedb
-
-
sincedb_clean_after
-
清理过期的 sincedb 记录
sincedb_clean_after => "7d" # 清理7天未访问的文件记录,默认值为14天
-
-
mode
选择监控模式(默认是tail,即追加模式)mode => "read" # 一次性读取文件,读完即关闭,默认值为tail
实战
定义配置文件
[root@ELK01 ~/logstash/config]# cat file.conf
input {
file {
id => "my_app_log"
codec => "plain"
tags => ["file","myfile"]
add_field => {
"name" => "zhangsan"
"age" => 18
}
type => "file"
# 读取日志的文件路径
path => "/tmp/apps*.log"
# 读取的开始位置
# 该参数剩下的前提条件时"sincedb*"文件中没有对新文件的记录.
start_position => beginning
# sincedb文件
sincedb_path => "/data/logstash/sincedb"
ignore_older => "3d"
# 读取频率,1秒
stat_interval => 1
max_open_files => 1024
sincedb_write_interval => 10
mode => tail
}
}
output {
stdout {
codec => rubydebug
}
}
启动logstash
[root@ELK01 ~/logstash/config]# logstash -f ./file.conf
[2025-06-15T14:22:35,596][INFO ][logstash.javapipeline ][main] Pipeline Java execution initialization time {"seconds"=>0.58}
[2025-06-15T14:22:35,657][INFO ][logstash.javapipeline ][main] Pipeline started {"pipeline.id"=>"main"}
[2025-06-15T14:22:35,717][INFO ][filewatch.observingtail ][main][my_app_log] START, creating Discoverer, Watch with file and sincedb collections
[2025-06-15T14:22:35,734][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
写入内容至/tmp/apps01.log
[root@ELK01 /tmp]# echo hello logstash file >> apps.log
查看控制台
{
"@version" => "1",
"host" => "ELK01",
"path" => "/tmp/apps.log",
"message" => "hello logstash file", # 我们写入文件的内容
"type" => "file",
"name" => "zhangsan",
"tags" => [
[0] "file",
[1] "myfile"
],
"@timestamp" => 2025-06-15T06:24:17.191Z,
"age" => "18"
}
查看sincedb文件
[root@ELK01 /tmp]# cat /data/logstash/sincedb
2490408 0 64768 44 1749968657.193113 /tmp/apps.log
# 2490408表示文件的inodb
# 0 表示磁盘分区
# 64768表示文件当前偏移量,单位字节
# 44表示记录文件元数据(如权限、所有者)最后修改的时间戳(秒级)。
# /tmp/apps.log表示读取的日志文件