Information Server 中共享开源服务中 kafka 的__consumer_offsets目录过大清理

1,11.7新版本的 IBM InfoSphere Information Server 将 Apache Kafka、Solr 和 ZooKeeper 安装在<ISHOME>服务层的 /shared-open-source 目录中。

默认情况下,共享开源中的 Kafka 对 __consumer_offsets 主题使用"压缩"日志清理策略,这可能会导致该主题产生许多日志文件并填满磁盘空间。

目标:

将__consumer_offsets主题的 Kafka 日志保留策略更改为 "delete"

Steps 步骤:

1. 禁用 Kafka Log Cleaner 线程。

在 Services tier(服务层)<ISHOME>中,在文本编辑器中打开 /shared-open-source/kafka/conf/server1.properties 文件。例如,在 Unix 或 Linux 中打开 /opt/IBM/InformationServer/shared-open-source/kafka/conf/server1.properties,在 Windows 中打开 C:\IBM\InformationServer\shared-open-source\kafka\conf\server1.properties。

如果 log.cleaner.enable 属性设置为 "true",请将其更改为 "false",如下所示,保存并退出文本编辑器。

复制代码
log.cleaner.enable=false

注意:"压缩"清理策略需要 Log Cleaner 线程。如果您需要对某些主题使用 "compact" 策略,请将其设置为 "true"。请参阅 log.cleaner.enable。

2. 将__consumer_offsets主题的日志清理策略更改为"delete"。

在 Services tier(服务层)中,确保 Kafka 服务已启动并正在运行,然后运行以下命令。

复制代码
## In Unix / Linux
cd /opt/IBM/InformationServer/shared-open-source/kafka/install/bin
./kafka-topics.sh --zookeeper localhost:52181 --topic __consumer_offsets --alter --config cleanup.policy=delete

# OR
./kafka-configs.sh --bootstrap-server localhost:59092 --alter --entity-type topics --entity-name __consumer_offsets --add-config cleanup.policy=delete

## In Windows CMD window
cd C:\IBM\InformationServer\shared-open-source\kafka\install\bin\windows
kafka-topics.bat --zookeeper localhost:52181 --topic __consumer_offsets --alter --config cleanup.policy=delete

# OR
kafka-configs.bat --bootstrap-server localhost:59092 --alter --entity-type topics --entity-name __consumer_offsets --add-config cleanup.policy=delete

注意:如果脚本因 java 错误或缺少 java 命令而失败,请将 JAVA_HOME 设置为 <ISHOME>/jdk/jre,然后重试。

复制代码
## In Unix / Linux
JAVA_HOME=/opt/IBM/InformationServer/jdk/jre; export JAVA_HOME

## In Windows
set JAVA_HOME=C:\IBM\InformationServer\jdk\jre

确认 __consumer_offsets 的日志保留策略已更改为 "delete"。以下命令输出必须显示 "cleanup.policy=delete"。

复制代码
## In Unix / Linux
./kafka-topics.sh  --zookeeper localhost:52181 --describe --topic __consumer_offsets

# OR
./kafka-configs.sh --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets


## In Windows
kafka-topics.bat --zookeeper localhost:52181 --describe --topic __consumer_offsets

# OR
kafka-configs.bat --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets

Note: 注意:

(1) 最新版本的 Kafka 命令可能不再支持 "--zookeeper <zk_host>:<zk_port>" 选项,在这种情况下请使用 "--bootstrap-server <kafka_host>:<kafka_port>" 选项。例如,使用
kafka-configs.sh --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets
kafka-configs.sh --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets代替
kafka-configs.sh --zookeeper localhost:52181 --describe --entity-type topics --entity-name __consumer_offsets
kafka-configs.sh --zookeeper localhost:52181 --describe --entity-type topics --entity-name __consumer_offsets
(2) 一旦清理策略更改为 "delete",shared-open-source/kafka/data/1/__consumer_offsets-0 目录下的旧文件将被 Kafka 删除。

* Windows 上 v11.7.1.4 中的示例会话

复制代码
C:\IBM\InformationServer\shared-open-source\kafka\install\bin\windows>prompt $g

>cd
C:\IBM\InformationServer\shared-open-source\kafka\install\bin\windows

>kafka-topics.bat --zookeeper localhost:52181 --describe --topic __consumer_offsets
Topic: __consumer_offsets       TopicId: dWguAomoTh2txeL6NEMKSQ PartitionCount: 1       ReplicationFactor: 1    Configs: compression.type=producer,cleanup.policy=compact,segment.bytes=104857600
        Topic: __consumer_offsets       Partition: 0    Leader: 1       Replicas: 1     Isr: 1
>
>kafka-configs.bat --bootstrap-server localhost:59092 --alter --entity-type topics --entity-name __consumer_offsets --add-config cleanup.policy=delete
Completed updating config for topic __consumer_offsets.
>
>kafka-configs.bat --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets
Dynamic configs for topic __consumer_offsets are:
  compression.type=producer sensitive=false synonyms={DYNAMIC_TOPIC_CONFIG:compression.type=producer, DEFAULT_CONFIG:compression.type=producer}
  cleanup.policy=delete sensitive=false synonyms={DYNAMIC_TOPIC_CONFIG:cleanup.policy=delete, STATIC_BROKER_CONFIG:log.cleanup.policy=delete, DEFAULT_CONFIG:log.cleanup.policy=delete}
  segment.bytes=104857600 sensitive=false synonyms={DYNAMIC_TOPIC_CONFIG:segment.bytes=104857600, STATIC_BROKER_CONFIG:log.segment.bytes=10485760, DEFAULT_CONFIG:log.segment.bytes=1073741824}
>

3. 如果您在步骤 1 中更改了 log.clean.enable 属性,请重新启动共享的开源服务。

复制代码
## In Unix / Linux
cd /opt/IBM/InformationServer
shared-open-source/bin/stop-*-services.sh
shared-open-source/bin/start-*-services.sh

## In Windows
cd C:\IBM\InformationServer
shared-open-source\bin\stop-windows-services.bat
shared-open-source\bin\start-windows-services.bat

4,最后,根据最佳实践,开源kafka有自己的配置文件,建议将日志保留时间配置为48小时,参考下图,然后重启开源共享服务,参考步骤3。

vi /opt/IBM/InformationServer/shared-open-source/kafka/conf/server1.properties

参考官方链接:https://www.ibm.com/support/pages/how-clean-log-collection-kafka-shared-open-source-service-information-server

相关推荐
炸裂狸花猫40 分钟前
开源域名证书工具 - cert-manager
云原生·容器·kubernetes·开源·cert-manager
yumgpkpm1 小时前
腾讯云TBDS与CDH迁移常见问题有哪些?建议由CDH迁移到CMP 7.13 平台(类Cloudera CDP,如华为鲲鹏 ARM 版)
hive·hadoop·zookeeper·flink·spark·kafka·hbase
无心水2 小时前
【分布式利器:限流】3、微服务分布式限流:Sentinel集群限流+Resilience4j使用教程
分布式·微服务·架构·sentinel·分布式限流·resilience4j·分布式利器
fundroid3 小时前
Androidify:谷歌官方 AI + Android 开源示例应用
android·人工智能·开源
一起学开源3 小时前
分布式基石:CAP定理与ACID的取舍艺术
分布式·微服务·架构·流程图·软件工程
雁于飞4 小时前
分布式基础
java·spring boot·分布式·spring·wpf·cloud native
坚果派·白晓明6 小时前
常用URL语法传输数据开源命令行工具curl鸿蒙化构建过程深度解析
开源·openharmony·开源鸿蒙·开源软件termony
robot_learner7 小时前
11 月 AI 动态:多模态突破・智能体模型・开源浪潮・机器人仿真・AI 安全与主权 AI
人工智能·机器人·开源
2501_941142138 小时前
基于 Kotlin 构建移动端高并发后台服务与实时数据同步系统的架构设计与工程实践分享
kafka
Tadas-Gao8 小时前
Spring Boot 4.0架构革新:构建更精简、更安全、更高效的Java应用
java·spring boot·分布式·微服务·云原生·架构·系统架构