windows下logstash从文件中读数据写入es报错 Error: No such file or directory - :/dev/null

复制代码
 [2023-12-22T17:26:50,327][ERROR][logstash.javapipeline    ][main][897a6c7006446c97daa2ee44df7541701882ceece289ce428fcfac8aa982a0c5] A plugin had an unrecoverable error. Will restart this plugin.
  Pipeline_id:main
  Plugin: <LogStash::Inputs::File start_position=>"beginning", path=>["D:/angus/es/logstash-7.11.1/config/modified_json_lines.json"], codec=><LogStash::Codecs::JSON id=>"json_d9cd9a05-9f06-48af-a4fa-a2fd6b414869", enable_metric=>true, charset=>"UTF-8">, id=>"897a6c7006446c97daa2ee44df7541701882ceece289ce428fcfac8aa982a0c5", sincedb_path=>"/dev/null", enable_metric=>true, stat_interval=>1.0, discover_interval=>15, sincedb_write_interval=>15.0, delimiter=>"\n", close_older=>3600.0, mode=>"tail", file_completed_action=>"delete", sincedb_clean_after=>1209600.0, file_chunk_size=>32768, file_chunk_count=>140737488355327, file_sort_by=>"last_modified", file_sort_direction=>"asc", exit_after_read=>false, check_archive_validity=>false>
  Error: No such file or directory - D:/dev/null
  Exception: Errno::ENOENT
  Stack: org/jruby/RubyIO.java:1237:in `sysopen'
org/jruby/RubyFile.java:365:in `initialize'
org/jruby/RubyIO.java:1156:in `open'
uri:classloader:/META-INF/jruby.home/lib/ruby/stdlib/fileutils.rb:1136:in `block in touch'
org/jruby/RubyArray.java:1809:in `each'

错误消息表明 Logstash 在尝试使用 sincedb_path 时遇到了问题,该路径被设置为 "/dev/null"。问题是,/dev/null 是 Unix 系统上的特殊文件,而您似乎正在运行 Logstash 在 Windows 系统上。Windows 上的 sincedb_path 路径应该是一个实际的文件路径,而不是 /dev/null

解决方法是在 Logstash 配置文件中指定一个有效的 sincedb_path。请修改您的 Logstash 配置文件,将 sincedb_path 修改为 Windows 上的有效路径,例如:

复制代码
input {
  file {
    path => "D:/angus/es/logstash-7.11.1/config/modified_json_lines.json"
    start_position => "beginning"
    sincedb_path => "D:/angus/es/logstash-7.11.1/data/sincedb"
    codec => "json"
  }
}

output {
  # 其他输出配置...
}

确保 sincedb_path 的目录存在,并对 Logstash 进程有写入权限。修改配置文件后,重新运行 Logstash。

此外,请确保 Logstash 配置文件中的其他路径和参数也正确,并确保 Logstash 进程有读取指定文件的权限。

相关推荐
武子康5 小时前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天7 小时前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
Elasticsearch1 天前
如何使用 Agent Builder 排查 Kubernetes Pod 重启和 OOMKilled 事件
elasticsearch
Elasticsearch2 天前
通用表达式语言 ( CEL ): CEL 输入如何改进 Elastic Agent 集成中的数据收集
elasticsearch
武子康2 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
埃博拉酱3 天前
VS Code Remote SSH 连接 Windows 服务器卡在"下载 VS Code 服务器":prcdn DNS 解析失败的诊断与 BITS 断点续传
windows·ssh·visual studio code
武子康3 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive
唐宋元明清21884 天前
.NET 本地Db数据库-技术方案选型
windows·c#
DianSan_ERP4 天前
电商API接口全链路监控:构建坚不可摧的线上运维防线
大数据·运维·网络·人工智能·git·servlet
够快云库4 天前
能源行业非结构化数据治理实战:从数据沼泽到智能资产
大数据·人工智能·机器学习·企业文件安全