Kafka集群修改单个Topic数据保存周期

在大数据部门经常使用Kafka集群,有的时候大数据部门可能在Kafka中的Topic数据保存时间不需要很长,一旦被消费后就不需要一直保留。默认Topic存储时间为7day,个别的Topic或者某台Kafka集群需要修改Topic数据保存的一个周期,调整为3天或者1天

目前修改Topic 有两种方法

  • 通过修改Kafka配置文件,使全局生效,所有的Topic数据保存时间都进行修改
  • 通过参数调整某个Topic数据保存时间

以上两种方式均进行演示

相关版本信息

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --version
3.4.0 (Commit:2e1947d240607d53)

[root@web-03 ~]# cat /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)

[root@web-03 ~]# uname -r
3.10.0-693.el7.x86_64

全局生效

修改配置文件

复制代码
[root@web-03 ~]# vim /opt/kafka/config/server.properties

# The minimum age of a log file to be eligible for deletion due to age
log.retention.hours=12

#单位为小时

如果是集群需要集群内其它机器也修改

修改完配置文件重启,配置文件是全局生效

单个Topic生效

首先我们先查看目前的Topic

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server 192.168.31.71:9092
tw222
two

使用describe参数查看详细Topic数值

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.31.71:9092 --describe --topic tw222
Topic: tw222 TopicId: qS-h_V78ShyKC6pN1cuCfw PartitionCount: 2 ReplicationFactor: 1 Configs: segment.bytes=1073741824
Topic: tw222 Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: tw222 Partition: 1 Leader: 0 Replicas: 0 Isr: 0
[root@web-03 ~]#

使用kafka-configs.sh修改Topic名称为tw222

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-configs.sh --bootstrap-server 192.168.31.71:9092 --alter --entity-name tw222 --entity-type topics --add-config retention.ms=86400000
#下面为输出结果
Completed updating config for topic tw222.

#--entity-name 指定Topic名称 tw222
#--entity-type topics 类型为Topic
#retention.ms=数据保留时间
  • 86400000毫秒=1天
  • 172800000毫秒=2天
  • 259200000毫秒=3天

毫秒计算器可以访问下面的地址,由abcdocker维护
在线时间换算,年月周天换算,时间单位换算工具-abcdocker在线工具系统

接下来我们查看效果

复制代码
[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.31.71:9092 --describe --topic tw222
Topic: tw222 TopicId: qS-h_V78ShyKC6pN1cuCfw PartitionCount: 2 ReplicationFactor: 1 Configs: segment.bytes=1073741824,retention.ms=86400000
Topic: tw222 Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: tw222 Partition: 1 Leader: 0 Replicas: 0 Isr: 0

#retention.ms=86400000这里表示已经为Topic添加了过期时间

相关文章:

  1. 消息队列 Kafka --未完
  2. Zookeeper集群节点异常 Unable to load database on disk java.io.IOException
相关推荐
希和20271 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
北风toto2 小时前
Spring Boot 常用注解 · 概要笔记
spring boot·笔记·后端
下一站春风里2 小时前
Spring IoC 控制反转 完整技术笔记
java·spring boot·笔记·spring
一只大鸽子14 小时前
游戏开发笔记4-像素画基础 轮廓-直线和曲线
笔记
小杨小杨、努力变强!15 小时前
python学习笔记
笔记·学习
杨逢昌工厂6S管理18 小时前
150-杨逢昌一线现场诊断笔记:越管一线越抵触背后的熵增机理与基准化治理
经验分享·笔记·职场和发展·学习方法
Star(up up up)21 小时前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
希和202721 小时前
江科大 51 单片机课程笔记:DS1302 实时时钟 + LCD1602 可调电子钟(小白逐行讲解)
笔记·单片机·嵌入式硬件
岑梓铭1 天前
《考研408数据结构》第七章(B树 和 B+树)复习笔记
数据结构·笔记·b树·考研·408
Go Work1 天前
docker 占满根分区时先分清谁在吃盘
经验分享·笔记