
Apache Pulsar 的消息先写进 BookKeeper 的 ledger(存消息的分段单元),消费者跟得上时旧 ledger 滚动关闭就能回收,跟不上就一直占着 Bookie 存储节点的盘。分层存储给了一条出路:把关闭的旧 ledger 搬进对象桶,消费者要读时 broker 再从桶里取回。RustFS 官方集成目录用 apachepulsar/pulsar-all:4.0.4 跑通了这条链路,先生产 300 条、滚动后再写 120 条,把旧 ledger 卸进 RustFS 桶,然后用一个全新订阅读回全部 420 条。这篇按官方那套配置走一遍,重点在三处容易踩的地方:镜像选错 offloader 起不来,驱动名对应的配置键不是同一套,ledger 不滚动就一直触发不了卸载。整套流程是本地集成验证,不适用于生产环境。
基础镜像里没有 offloader 这个包
先讲镜像,不然第一条命令就卡住。apachepulsar/pulsar 这个基础镜像不带分层存储的 offloader(负责把 ledger 搬到对象存储的组件)包,直接拿它起 broker 会报 No offloader found for driver 'S3',日志还会提示把 NAR 包放进卸载目录。官方这次用的是 apachepulsar/pulsar-all:4.0.4,这个标签把 offloader 都打进去了,不用自己再塞包。
启动命令用 --entrypoint bash 进去改配置再 exec 起 standalone。这里给 broker 堆内存加了 -Xms512m -Xmx512m 的上限,是为了让演示在有限内存里能跑起来。两个端口要映射出来,6650 是 broker 的二进制协议端口,8080 是 HTTP 管理端口,后面所有 pulsar-admin、pulsar-client 命令都在这个容器里执行,不走宿主机端口。
S3 驱动到底读哪几个配置键
这是整套配置里最反直觉的一处,官方专门单独列了警示。分层存储的驱动名填 S3,它读的是一组通用键:managedLedgerOffloadBucket、managedLedgerOffloadServiceEndpoint、managedLedgerOffloadRegion。另一套 s3ManagedLedgerOffload* 前缀属于 aws-s3 驱动,在 S3 驱动下会被直接忽略。填错前缀的后果不是报个配置错误就完事,offloader 会在卸载时抛 NullPointerException: endpoint,因为压根没读到端点。
凭证同理。S3 驱动读的是容器里的 ACCESS_KEY_ID 和 ACCESS_KEY_SECRET 两个环境变量,不是常见的 AWS_ACCESS_KEY_ID 那一对。只导出了 AWS_* 的话,broker 日志会反复出现 Couldn't get the access key id.,卸载照样起不来。
追加到 standalone.conf 的配置块把这几项一次写齐:
managedLedgerOffloadDriver=S3
managedLedgerOffloadBucket=my-bucket
managedLedgerOffloadServiceEndpoint=http://<your-rustfs-endpoint>:9000
managedLedgerOffloadRegion=us-east-1
端点里的 9000 是 RustFS 的 S3 API 端口。region 填 us-east-1 只是 SigV4 签名需要一个区域值,跟连不连 AWS 没关系,自定义端点同样要给它一个。完整命令在启动容器时用 sed 先把两个 managedLedger* 参数调小,再把上面这段 printf 追加进去,最后 exec bin/pulsar standalone -nss。等日志里出现 The ledger offloader was created,才算 offloader 初始化通过。
让 ledger 在演示里尽快滚动
默认配置下 ledger 要攒够条目数才滚动,一次演示等不到。所以启动时的 sed 把 managedLedgerMaxEntriesPerLedger 改成 100、managedLedgerMinLedgerRolloverTimeMinutes 改成 1,让 ledger 很快就能滚。
还有个坑是 topic 会被提前清掉。没有订阅的 topic 在 inactive-topic 清理里几分钟就没了,演示做到一半 topic 消失,后面全作废。官方的解法是先生产一批消息,再挂一个持久订阅保活:
docker exec pulsar bin/pulsar-client produce -m "hello rustfs offload" -n 300 \
persistent://public/default/rustfs-test
docker exec pulsar bin/pulsar-client consume -s keepalive -n 1 -p Earliest \
persistent://public/default/rustfs-test
第一条命令返回 300 messages successfully produced,第二条用 timeout 30 包起来,只为把 keepalive 这个订阅建出来,不影响后面从最早位置重读。
滚动这件事也容易误会。managedLedgerMinLedgerRolloverTimeMinutes 到期后并不会立刻滚,检查发生在下一次写入时,不是后台定时器。所以官方是先 sleep 65 等满一分钟,再生产 120 条把滚动逼出来,然后才触发卸载:
sleep 65
docker exec pulsar bin/pulsar-client produce -m "rollover" -n 120 \
persistent://public/default/rustfs-test
docker exec pulsar bin/pulsar-admin topics offload -s 1K \
persistent://public/default/rustfs-test
-s 1K 的意思是卸载这个大小阈值之前的消息。输出会提示 offload 已触发,但这是异步的,要 sleep 30 再查 offload-status,看到 Offload was a success 才算真的完成。如果状态显示成功但桶里空空如也,多半是 ledger 还没关闭 ------ 只有早于阈值且已关闭的 ledger 才会上传,再生产一批重触发一次就有了。
用全新订阅验证每一条都是冷读
卸载完成后到桶里看一眼,确认对象确实落下来了:
aws s3 ls s3://my-bucket/ --recursive \
--endpoint-url http://<your-rustfs-endpoint>:9000 | grep ledger
列出的是一个数据块加一个小索引,名字形如 <offloader-id>-ledger-9 和 <offloader-id>-ledger-9-index,位于桶根。索引对象只有几百字节,数据块才是真正的消息内容。这个"数据块加索引"的成对布局要记住,后面清理对象时按 *ledger* 匹配,两个都会命中;只看数据块不看索引,桶里会留下孤儿索引。只有早于阈值且已经关闭的 ledger 会上传,活跃的 ledger 仍留在 BookKeeper 里接着写,所以桶里看到的编号不一定连着。
真正的验证是冷读。用一个全新的 coldread 订阅从最早位置消费,第一个 ledger 现在只存在于 RustFS,broker 返回的每条消息都是一次从桶里取回:
timeout 90 docker exec pulsar bin/pulsar-client consume -s coldread -n 420 -p Earliest \
persistent://public/default/rustfs-test 2>&1 | grep -c "^-----"
返回 420。这个数正好是卸载 ledger 的 300 条加上活跃 ledger 的 120 条,一个不多一个不少。到这一步,写入、卸载、冷读三条链路才算闭合。
清场时 docker rm -f pulsar 拆掉 broker,桶里的 ledger 会留着。要删就用带通配的 aws s3 rm,--exclude "*" --include "*ledger*" 只删卸载对象,别把桶里别的东西一起清了。
演示到生产之间还隔着几项
官方把这套明确标成本地集成测试。它是单节点 standalone,卸载靠手动 offload 命令触发,凭证明文写在容器环境变量里。上生产之前,这几处都得换掉。
卸载阈值要在 namespace 层面开自动策略,配合保留策略一起用,不然 backlog 还是会把 Bookie 撑满。这个过程涉及 ledger 生命周期和副本一致性,官方建议先读完 Pulsar 的分层存储文档再动手,别拿演示里的手动触发当生产方案。多节点 broker 的行为跟 standalone 也不一样,卸载任务的协调方式要单独验证。
凭证要换成只授权这一个桶的专用账号,RustFS 的访问密钥管理页有创建步骤。另外,启用 namespace 自动卸载之前,值得先对着 RustFS 的 S3 兼容性说明过一遍 offloader 会用到的那几个 API,确认行为跟 AWS 上的预期一致。Pulsar 这套 offloader 是按 S3 协议写的,兼容性边界不能想当然。
排障按这个顺序走:先看镜像是不是 pulsar-all,再看配置键前缀是不是 managedLedgerOffload*,然后查 ACCESS_KEY_ID 有没有导进容器,最后确认 ledger 真的滚动关闭了。这几处覆盖了官方列出的全部典型报错,不用一上来就翻 broker 的完整日志。