Flink控制台任务提交的时候, SLF4J 多个绑定问题.

bash 复制代码
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/consola/flink/version01/lib/log4j-slf4j-impl-2.14.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/consola/flink/version01/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

从日志信息来看,您遇到的问题主要可以分为两个方面:

  1. SLF4J 多个绑定问题 :

    SLF4J 报告说它在类路径中找到了多个绑定(bindings),这意味着存在多个不同的日志实现。具体来说,log4j-slf4j-impl-2.14.1.jar 和 slf4j-log4j12-1.7.25.jar 都提供了 StaticLoggerBinder 的实现。这会导致不确定哪个日志实现会被使用,并可能导致日志记录行为不符合预期。

  2. Flink 日志文件传输失败 :

    Flink 尝试从 TaskExecutor 上传日志文件时遇到了错误,提示 "The file LOG does not exist on the TaskExecutor." 这表明 Flink 控制台尝试访问一个不存在的日志文件或路径。

解决方案

对于 SLF4J 多个绑定的问题:
  • 移除冗余的依赖 :检查您的项目依赖(包括 pom.xml 或 build.gradle 文件)和 Flink 安装目录下的 lib 文件夹,确保只包含一种 SLF4J 绑定。通常推荐使用最新版本的 Log4j2 实现,即保留 log4j-slf4j-impl 而移除 slf4j-log4j12。

  • 清理本地 Maven 或 Gradle 缓存:有时候构建工具的缓存可能会导致旧的依赖被引入到项目中。尝试清理缓存并重新构建项目。

  • 确认日志配置 :检查 Flink 的日志配置(如 log4j.properties 或 logback.xml),确保日志文件的路径是正确的,并且 TaskExecutor 确实会生成这些日志文件。

  • 验证日志文件位置 :确保 TaskExecutor 上确实有名为 LOG 的日志文件或者日志文件位于 Flink 期望的位置。如果日志文件名不是 LOG,请确认 Flink Web UI 请求的是正确的日志文件名。

  • 检查权限:确认 TaskExecutor 对日志文件具有读取权限,特别是当您在分布式环境中运行 Flink 时。

  • 查看 Flink 文档 :如果您正在使用自定义的日志配置,请参考 Flink 的官方文档 来正确设置日志参数。

  • 更新 Flink 版本:考虑到您使用的是 Flink 1.14.0,可能存在一些已知的问题。考虑升级到最新的稳定版本,以获得性能改进和错误修复。

总结

首先解决 SLF4J 的多个绑定问题,通过仅保留一种日志实现来避免潜在的日志记录冲突。然后针对 Flink 日志文件传输失败的问题,确保日志配置正确、日志文件存在并且权限适当。最后,如果问题依旧存在,可以考虑升级 Flink 到最新版本或查阅相关社区资源寻求帮助。

相关推荐
小海测评3 小时前
生成式引擎优化技术解析:大语言模型外部内容采信机制与工程实践
大数据·人工智能·语言模型·geo·企业获客
yyzc111113 小时前
合规稳定资金结算收款系统助力门店发展
大数据·运维·人工智能
IT研究室4 小时前
最新大数据毕业设计选题推荐-基于大数据的AI助手系统性软件缺陷评论挖掘与可视化-大数据-Spark-Hadoop-Bigdata
大数据·人工智能·课程设计
Sayai4 小时前
Flink 日志解析任务性能优化实战:正则/Grok 预编译、Guava 缓存权重陷阱与 ES 写入隔离
java·大数据·性能优化·flink·实时计算
Elastic 中国社区官方博客4 小时前
基于 Jina OCR v1 与 Elasticsearch 的 PDF 智能混合检索与 RAG 系统实战指南
大数据·数据库·elasticsearch·搜索引擎·ocr·jina
渣渣盟4 小时前
Flink SQL 流批一体:从 SQL 到执行计划,优化器如何工作?
大数据·sql·flink
腾讯云大数据5 小时前
腾讯云发布一站式多模态数据处理与模型训推方案,助力Physical AI释放生产力
大数据·人工智能·云计算·腾讯云
Easy_API13 小时前
2.8万亿参数,编程反超GPT-6 Astra:Kimi K3.1 Pro把开源模型推到了哪一步
大数据·人工智能·gpt·深度学习
GlobalInfo13 小时前
2026年机器人多指灵巧手市场分析报告——涵盖行业调查、趋势分析与发展前景
大数据·人工智能·microsoft·微服务·机器人
微订校园外卖平台15 小时前
校园外卖平台选模板还是定制:架构、数据流与验收清单
大数据·架构·外卖系统·本地生活·微订