【查看Kafka存储日志时间】

文章目录

要查看Kafka服务器的配置文件,你需要访问Kafka安装目录中的配置文件。通常,这些配置文件位于Kafka安装目录的 config子目录中。最常见的配置文件是 server.properties,它包含了Kafka broker的各种配置参数。

步骤

  1. 找到Kafka安装目录 :首先,你需要知道Kafka安装在你的系统中的哪个目录。假设Kafka安装在/opt/kafka目录下。

  2. 进入配置文件目录 :进入Kafka安装目录的config子目录。

bash 复制代码
cd /opt/kafka/config
  1. 查看server.properties文件 :使用文本编辑器或命令行工具查看server.properties文件。
bash 复制代码
cat server.properties

或者使用文本编辑器,如nanovim

bash 复制代码
nano server.properties

关键配置参数

server.properties文件中,你可以找到与消息保留时间和大小相关的默认配置参数。以下是一些关键参数:

  • log.retention.hours:消息保留的时间(以小时为单位)。默认值通常是168小时(7天)。

    properties 复制代码
    log.retention.hours=168
  • log.retention.bytes:每个分区的最大存储大小。默认值是-1,表示没有大小限制。

    properties 复制代码
    log.retention.bytes=-1
  • log.retention.ms :消息保留的时间(以毫秒为单位)。如果设置了这个参数,它会覆盖log.retention.hours

    properties 复制代码
    log.retention.ms=604800000
  • log.segment.bytes:每个日志段的最大大小。默认值通常是1GB。

    properties 复制代码
    log.segment.bytes=1073741824
  • log.segment.ms:每个日志段的最大时间长度(以毫秒为单位)。

    properties 复制代码
    log.segment.ms=604800000
  • log.retention.check.interval.ms:Kafka检查并删除过期消息的时间间隔。默认值通常是5分钟(300000毫秒)。

    properties 复制代码
    log.retention.check.interval.ms=300000

示例

假设你查看server.properties文件,可能会看到类似以下的内容:

properties 复制代码
# The number of hours to keep a log file before deleting it (in hours), default is 168 hours (7 days)
log.retention.hours=168

# The maximum size of a log segment file. When this size is reached a new log segment will be created.
log.segment.bytes=1073741824

# The interval at which log segments are checked to see if they can be deleted (in milliseconds), default is 300000 (5 minutes)
log.retention.check.interval.ms=300000

# The maximum size of the log before deleting it (in bytes), default is -1 (no limit)
log.retention.bytes=-1

总结

通过查看Kafka的server.properties配置文件,你可以了解Kafka broker的默认配置参数,包括消息保留时间和存储大小等。根据需要,你可以修改这些参数来调整Kafka的行为。

如果你需要对特定的Topic进行配置,可以使用kafka-configs.sh命令显式设置这些参数,这样在描述信息中就会显示这些参数。

要查看Kafka Topic的配置参数,你可以使用kafka-topics.sh命令的--describe选项。这个命令会显示Topic的基本信息,包括分区、副本等,但不会直接显示所有的配置参数。要查看特定的配置参数,你需要使用kafka-configs.sh命令。

使用kafka-topics.sh查看Topic基本信息

bash 复制代码
kafka-topics.sh --describe --zookeeper localhost:2181 --topic my_topic

这个命令会输出类似以下的信息:

复制代码
Topic: my_topic  PartitionCount: 1  ReplicationFactor: 1  Configs: 
    Topic: my_topic  Partition: 0  Leader: 1  Replicas: 1  Isr: 1

使用kafka-configs.sh查看Topic的配置参数

要查看特定Topic的配置参数,可以使用kafka-configs.sh命令的--describe选项。

bash 复制代码
kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my_topic --describe

这个命令会输出类似以下的信息:

复制代码
Configs for topic 'my_topic' are retention.ms=259200000,retention.bytes=1073741824

示例

假设你有一个Topic名为my_topic,你可以使用以下命令来查看其配置参数:

bash 复制代码
kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my_topic --describe

输出可能会是:

复制代码
Configs for topic 'my_topic' are retention.ms=259200000,retention.bytes=1073741824

使用--bootstrap-server选项

如果你使用的是较新的Kafka版本,推荐使用--bootstrap-server选项而不是--zookeeper。以下是等效的命令:

查看Topic基本信息
bash 复制代码
kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my_topic
查看Topic的配置参数
bash 复制代码
kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my_topic --describe

总结

  • 使用kafka-topics.sh --describe可以查看Topic的基本信息,但不会显示所有的配置参数。
  • 使用kafka-configs.sh --describe可以查看特定Topic的配置参数。
  • 推荐使用--bootstrap-server选项来指定Kafka broker地址,而不是使用--zookeeper

通过这些命令,你可以方便地查看Kafka Topic的配置参数,了解其保留策略和其他配置。

相关推荐
ACP广源盛1392462567317 小时前
DeepSeek‑V4‑Flash 公测@ACP#昇腾 950 国产算力组合落地,国产 PCIe 交换芯片 IX9104 有哪些硬件机会
大数据·数据库·人工智能·分布式·单片机·嵌入式硬件·microsoft
玉鸯18 小时前
多 Agent 并行时如何保证状态一致性?
分布式·python·agent
CodeHackerBhx18 小时前
Spring Boot 4 防重复提交:从接口幂等到 Redis 分布式锁的完整实践
java·数据库·spring boot·redis·分布式
城管不管1 天前
RabbitMQ死信队列
java·分布式·ai·面试·职场和发展·rabbitmq·agent
2601_956456341 天前
从研发到交付:嗨动视觉分布式KVM坐席系统的靠谱逻辑
分布式
java1234_小锋1 天前
【免费】基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
大数据·spark·kafka·实时医疗健康数据监测·实时疾病预测系统
小O的算法实验室1 天前
AAAI-26,解空间变换引导的节能分布式异构柔性作业车间协同进化
分布式
ai_coder_ai2 天前
分布式缓存架构设计与实践
分布式·缓存
纯真时光2 天前
微服务分布式事务 -- XA,AT,TCC模式
分布式·微服务
笨蛋不要掉眼泪2 天前
RabbitMQ消息队列:业务幂等性
分布式·rabbitmq·java-rabbitmq