高并发架构实战 Day36

消息队列的存储分为元数据存储和消息数据存储两方面。

元数据的存储主要依赖第三方组件实现,比如 ZooKeeper、etcd 或者自研的简单元数据存储服务等等。在成熟的消息队列架构中,基于简化架构和提升稳定性的考虑,都会考虑在集群内部完成元数据的存储和管理。

消息数据的存储在功能层面包含数据存储结构设计、数据分段存储、数据存储格式、数据清理机制四个方面。

消息数据的存储主要包含 Topic 和分区两个维度。Topic 起逻辑组织作用,实际的数据存储是在分区维度完成的。所以在数据存储目录结构上,我们都以分区为最小粒度去设计,至于选择每个分区单独一个存储文件,还是将每个节点上所有分区的数据都存储在同一个文件,方案各有优劣,你可以根据实际情况去选择。

因为大文件存在性能和资源占用、数据清理成本等问题,一般情况下,我们都需要对数据文件进行分段处理,分段的策略一般都是按照文件大小进行的。 数据存储格式可以分为基础信息和业务信息两个维度,数据格式需要遵循极简原则,以达到性能和成本的最优。

数据的过期策略一般有三种,ACK 删除、根据时间和保留大小删除数据、两者结合。目前业界的实现比较多样,从选择上来看,两者结合的方案更合理

相关推荐
红尘散仙4 小时前
我把终端小说阅读器接上了 AI Agent:TRNovel 现在能用 skill 生成书源了
人工智能·后端·rust
卷毛的技术笔记5 小时前
告别硬编码!Spring AI Alibaba 实现 AI Agent 智能工具调用(Tool Calling)
java·人工智能·后端·python·spring·ai编程
会编程的土豆5 小时前
Go 语言反射(Reflection)详解
开发语言·后端·golang
喵个咪6 小时前
GoWind Toolkit Go后端代码生成 完整全流程实战
后端·go·orm
basketball6166 小时前
Go 语言从入门到进阶:4. 数组和MAP使用方法总结
开发语言·后端·golang
qq_2518364576 小时前
SpringBoot+Vue 共享电池柜管理系统 完整实现 前后端分离项目实战 完整代码
vue.js·spring boot·后端
zhangxingchao7 小时前
AI 大模型核心六:量化、Workflow 与 Agent、多轮 RAG
前端·人工智能·后端
IT_陈寒8 小时前
Vite打包时遇到的坑,原来问题出在这里
前端·人工智能·后端
ayqy贾杰9 小时前
基层管理的三板斧,在AI时代行不通了
前端·后端·团队管理
Apifox9 小时前
Apifox 5 月更新|Postman 导入优化、Runner 支持非 root 运行、请求代码自动带鉴权
前端·后端·安全