Mantle: A Programmable Metadata Load Balancer for the Ceph File System——论文泛读

SC 2015 Paper元数据论文阅读汇总

问题

优化Ceph的元数据局部性和负载平衡。

现有方法

提高元数据服务性能的最常见技术是在专用的元数据服务器(MDS)节点之间平衡负载 [16, 25, 26, 21, 28]。常见的方法是鼓励独立增长并减少通信,使用诸如懒惰客户端和MDS同步 [16, 18, 29, 9, 30]、inode路径/权限缓存 [4, 11, 28]、具有局部感知的/对象间事务 [21, 30, 17, 18] 和高效的查找表 [4, 30] 等技术。

尽管具有迁移元数据的机制,如锁 [21, 20]、零拷贝和两阶段提交 [21] 以及目录分区 [28, 16, 18, 25],但这些系统未能充分利用局部性。

本文方法

为了达到平衡,我们需要了解资源迁移和MDS节点处理能力的权衡。我们介绍了Mantle,这是一个基于CephFS的系统,它通过将迁移策略与机制分离来暴露这些因素,判断应该进行负载均衡还是并行(负载均衡会导致额外的性能开销)。

我们通过复制一种最先进的元数据平衡器的策略来展示这种方法的灵活性和透明性,并最后通过将该策略与同一系统上的其他自定义平衡器进行比较来总结。

总结

针对元数据的局部性和负载均衡问题,作者提出进行负载均衡时会导致性能下降,在调度前需要先考虑调度带来的影响。作者提出Mantle,将迁移策略和文件系统解耦。

相关推荐
sin°θ_陈4 小时前
前馈式3D Gaussian Splatting 研究地图(总览篇):解构七大路线,梳理方法谱系,看懂关键分歧与未来趋势
论文阅读·深度学习·算法·3d·aigc·空间计算·3dgs
智算菩萨12 小时前
【实战讲解】ChatGPT 5.4深度文献检索完全指南:提示词工程与学术实战策略
论文阅读·人工智能·gpt·搜索引擎·chatgpt·提示词·论文笔记
檐下翻书1731 天前
音乐产业版权管理与运营流程图表制作方法
论文阅读·信息可视化·毕业设计·流程图·论文笔记
森诺Alyson1 天前
前沿技术借鉴研讨-2026.3.26(解决虚假特征x2/混合专家对比学习框架)
论文阅读·人工智能·经验分享·深度学习·学习·论文笔记
森诺Alyson1 天前
前沿技术借鉴研讨-2026.3.19(睡眠分期/Agents模拟临床会诊/多模态抑郁症检测)
论文阅读·经验分享·深度学习·论文笔记·论文讨论
imbackneverdie2 天前
如何从海量文献中跨界汲取创新灵感?
论文阅读·人工智能·ai·自然语言处理·aigc·ai写作·ai工具
泡沫·2 天前
CEPH的基本认识
ceph
云霄星乖乖的果冻3 天前
【文献阅读:RobustRAG】Certifiably Robust RAG against Retrieval Corruption
论文阅读
m0_650108243 天前
DreamZero:基于世界行动模型的零样本机器人策略
论文阅读·机器人·vla·世界动作模型·预训练视频扩散模型
白白白飘3 天前
【论文阅读】加密流量-ETool-林欣杰熊刚-TIFS2025
论文阅读·加密流量