Kafka Snappy 压缩异常分析与解决方案

1. 问题描述

在使用 Kafka 进行消息发送时,遇到了以下异常:

Crystal 复制代码
org.apache.kafka.common.KafkaException: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.1.7-ee0a2284-1d05-4116-9ddc-a0d5d4b3f8cd-libsnappyjava.so: Error loading shared library ld-linux-x86-64.so.2: No such file or directory (needed by /tmp/snappy-1.1.7-ee0a2284-1d05-4116-9ddc-a0d5d4b3f8cd-libsnappyjava.so)
	at org.apache.kafka.common.record.CompressionType$3.wrapForOutput(CompressionType.java:83)
	at org.apache.kafka.common.record.MemoryRecordsBuilder.<init>(MemoryRecordsBuilder.java:131)
	at org.apache.kafka.common.record.MemoryRecordsBuilder.<init>(MemoryRecordsBuilder.java:167)
	at org.apache.kafka.common.record.MemoryRecords.builder(MemoryRecords.java:507)
	at org.apache.kafka.common.record.MemoryRecords.builder(MemoryRecords.java:489)
	at org.apache.kafka.common.record.MemoryRecords.builder(MemoryRecords.java:437)
	at org.apache.kafka.clients.producer.internals.RecordAccumulator.recordsBuilder(RecordAccumulator.java:253)
	at org.apache.kafka.clients.producer.internals.RecordAccumulator.append(RecordAccumulator.java:229)
	at org.apache.kafka.clients.producer.KafkaProducer.doSend(KafkaProducer.java:949)
	at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:870)
	at org.springframework.kafka.core.DefaultKafkaProducerFactory$CloseSafeProducer.send(DefaultKafkaProducerFactory.java:848)
	at org.springframework.kafka.core.KafkaTemplate.doSend(KafkaTemplate.java:563)
	at org.springframework.kafka.core.KafkaTemplate.send(KafkaTemplate.java:363)
	... (此处省略部分日志)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.1.7-ee0a2284-1d05-4116-9ddc-a0d5d4b3f8cd-libsnappyjava.so: Error loading shared library ld-linux-x86-64.so.2: No such file or directory (needed by /tmp/snappy-1.1.7-ee0a2284-1d05-4116-9ddc-a0d5d4b3f8cd-libsnappyjava.so)
	at java.lang.ClassLoader$NativeLibrary.load(Native Method)
	at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1941)
	at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1824)
	at java.lang.Runtime.load0(Runtime.java:809)
	at java.lang.System.load(System.java:1086)
	at org.xerial.snappy.SnappyLoader.loadNativeLibrary(SnappyLoader.java:179)
	at org.xerial.snappy.SnappyLoader.loadSnappyApi(SnappyLoader.java:154)
	at org.xerial.snappy.Snappy.<clinit>(Snappy.java:47)
	at org.xerial.snappy.SnappyOutputStream.<init>(SnappyOutputStream.java:99)
	at org.xerial.snappy.SnappyOutputStream.<init>(SnappyOutputStream.java:91)
	at org.xerial.snappy.SnappyOutputStream.<init>(SnappyOutputStream.java:81)
	at org.apache.kafka.common.record.CompressionType$3.wrapForOutput(CompressionType.java:81)
	... 128 more

该异常表明 Kafka 在尝试加载 libsnappyjava.so 共享库时失败,原因是缺少依赖的动态链接库 ld-linux-x86-64.so.2。

2. 异常原因分析

2.1. Snappy 压缩依赖

Kafka 默认支持多种压缩方式(如 gzip、snappy、lz4 等),其中 snappy 是一种高效的压缩算法。如果 Kafka 配置了 snappy 压缩,但运行环境中缺少 snappy 的本地库支持,就会抛出上述异常。

2.2. 动态链接库缺失

ld-linux-x86-64.so.2 是 Linux 系统中用于加载共享库的动态链接器。某些轻量级容器环境(如 Alpine Linux)可能未预装该文件,导致无法正确加载 snappy 的本地库。

2.3. 运行环境不匹配

如果 Kafka 客户端运行在非标准的 Linux 发行版上(如基于 musl 的 Alpine Linux),而 snappy 的本地库是针对 glibc 编译的,则可能会出现兼容性问题。

3. 解决方案

3.1. 方法一:禁用 Snappy 压缩

如果项目对压缩方式没有特殊要求,可以通过禁用 snappy 压缩来快速解决问题。

3.1.1. 配置步骤

1. 修改 Kafka 配置

在 Kafka Producer 或 Consumer 的配置中,将 compression.type 设置为其他值(如 gzip 或 none):

以SpringBoot 的 application.yaml 为例:

Crystal 复制代码
spring:
  kafka:
      producer:
        compression-type: none # 对发送的数据进行压缩 支持压缩类型:none、gzip、snappy、lz4 和 zstd。

3.1.2. 优点

  • 快速解决兼容性问题。
  • 不需要额外安装依赖

3.1.3. 缺点

  • 快速解决兼容性
  • 如果数据量较大,禁用压缩可能导致网络传输效率降低。

3.2. 方法二:安装 Snappy 依赖

如果必须使用 snappy 压缩,可以确保运行环境中安装了 snappy 的所有依赖。

3.2.1. 配置步骤

以 Linux 系统为例:

1. 安装包下载:

下载 G++ 和 Gcc 安装包:

GitCode - 全球开发者的开源社区,开源代码托管平台GitCode是面向全球开发者的开源社区,包括原创博客,开源代码托管,代码协作,项目管理等。与开发者社区互动,提升您的研发效率和质量。https://gitcode.com/open-source-toolkit/2b513

下载 snappy 安装包:

Index of /repo/pkgs/snappyhttps://src.fedoraproject.org/repo/pkgs/snappy/

2. 以 /export/server 目录为例,将下载的安装包解压并上传到 /export/server 目录。

3. 安装 G++ 和 Gcc (如果有该环境则跳过此步骤)

进入解压后的目录并安装:

bash 复制代码
cd /export/server/gcc
rpm -ivh *rpm --nodeps --force
cd /export/server/gcc-c++
rpm -ivh *rpm --nodeps --force

4. 安装 snappy

bash 复制代码
cd /server/export
tar -zxvf snappy-1.1.7.tar.gz
cd snappy-1.1.7
./configure --with-snappy=/server/export/snappy

3.2.2. 优点

  • 保留 snappy 压缩的优势。
  • 适合对性能要求较高的场景。

3.2.3. 缺点

  • 需要修改运行环境,可能增加维护成本。

3.3. 方法三:使用纯 Java 实现的 Snappy

为了避免本地库依赖问题,可以选择使用纯 Java 实现的 snappy 库。

3.3.1. 配置步骤

1. 添加 Maven 依赖 (以1.1.8.4 版本为例):

XML 复制代码
<dependency>
    <groupId>org.xerial.snappy</groupId>
    <artifactId>snappy-java</artifactId>
    <version>1.1.8.4</version>
</dependency>

2. 确保 Kafka 使用纯 Java 版本的 snappy:

Kafka 默认会优先加载本地库,但如果本地库加载失败,会自动回退到纯 Java 实现。

3.3.2. 优点

  • 无需修改运行环境。
  • 兼容性更强。

3.3.3. 缺点

  • 纯 Java 实现的性能略低于本地库。

4. 总结

|----------|----------------|----------|
| 方法 | 优点 | 缺点 |
| 禁用压缩 | 快速解决,无需额外依赖 | 可能影响传输效率 |
| 安装依赖 | 保留 snappy 压缩优势 | 需要修改运行环境 |
| 使用纯 Java | 兼容性强,无需修改运行环境 | 性能略低 |

根据实际需求选择合适的解决方案。如果项目对压缩性能要求不高,推荐直接禁用 snappy 压缩;如果需要高性能压缩,建议安装 snappy 依赖或使用纯 Java 实现。

5. 参考资料

  1. Apache Kafka
  2. https://github.com/xerial/snappy-java
相关推荐
我命由我1234531 分钟前
Kotlin 数据容器 - List(List 概述、创建 List、List 核心特性、List 元素访问、List 遍历)
java·开发语言·jvm·windows·java-ee·kotlin·list
liulilittle32 分钟前
C++ TAP(基于任务的异步编程模式)
服务器·开发语言·网络·c++·分布式·任务·tap
码字的字节34 分钟前
ZooKeeper在Hadoop中的协同应用:从NameNode选主到分布式锁实现
hadoop·分布式·zookeeper·分布式锁
武子康3 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
YuTaoShao5 小时前
【LeetCode 热题 100】131. 分割回文串——回溯
java·算法·leetcode·深度优先
源码_V_saaskw6 小时前
JAVA图文短视频交友+自营商城系统源码支持小程序+Android+IOS+H5
java·微信小程序·小程序·uni-app·音视频·交友
超浪的晨6 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
双力臂4046 小时前
Spring Boot 单元测试进阶:JUnit5 + Mock测试与切片测试实战及覆盖率报告生成
java·spring boot·后端·单元测试
Edingbrugh.南空7 小时前
Aerospike与Redis深度对比:从架构到性能的全方位解析
java·开发语言·spring
QQ_4376643147 小时前
C++11 右值引用 Lambda 表达式
java·开发语言·c++