Mantle: A Programmable Metadata Load Balancer for the Ceph File System——论文泛读

SC 2015 Paper元数据论文阅读汇总

问题

优化Ceph的元数据局部性和负载平衡。

现有方法

提高元数据服务性能的最常见技术是在专用的元数据服务器(MDS)节点之间平衡负载 [16, 25, 26, 21, 28]。常见的方法是鼓励独立增长并减少通信,使用诸如懒惰客户端和MDS同步 [16, 18, 29, 9, 30]、inode路径/权限缓存 [4, 11, 28]、具有局部感知的/对象间事务 [21, 30, 17, 18] 和高效的查找表 [4, 30] 等技术。

尽管具有迁移元数据的机制,如锁 [21, 20]、零拷贝和两阶段提交 [21] 以及目录分区 [28, 16, 18, 25],但这些系统未能充分利用局部性。

本文方法

为了达到平衡,我们需要了解资源迁移和MDS节点处理能力的权衡。我们介绍了Mantle,这是一个基于CephFS的系统,它通过将迁移策略与机制分离来暴露这些因素,判断应该进行负载均衡还是并行(负载均衡会导致额外的性能开销)。

我们通过复制一种最先进的元数据平衡器的策略来展示这种方法的灵活性和透明性,并最后通过将该策略与同一系统上的其他自定义平衡器进行比较来总结。

总结

针对元数据的局部性和负载均衡问题,作者提出进行负载均衡时会导致性能下降,在调度前需要先考虑调度带来的影响。作者提出Mantle,将迁移策略和文件系统解耦。

相关推荐
DuHz10 小时前
基于信号分解的FMCW雷达相互干扰抑制——论文阅读
论文阅读·算法·汽车·信息与通信·毫米波雷达
m0_6501082415 小时前
MiniGPT-4:解锁 LLM 驱动的高级视觉语言能力
论文阅读·开源·视觉语言大模型·minigpt-4·跨模态对齐·强llm+视觉对齐
WSKH092917 小时前
【论文阅读】(2016)Dual Inequalities for Stabilized Column Generation Revisited
论文阅读·线性规划·运筹学·列生成·对偶不等式·稳定列生成
程途拾光15820 小时前
用流程图优化工作流:快速识别冗余环节,提升效率
大数据·论文阅读·人工智能·流程图·论文笔记
蓝海星梦1 天前
【论文笔记】R-HORIZON:重塑长周期推理评估与训练范式
论文阅读·人工智能·深度学习·自然语言处理·大型推理模型
张较瘦_1 天前
[论文阅读] 软件工程 | 解决Java项目痛点:DepUpdater如何平衡依赖升级的“快”与“稳”
java·开发语言·论文阅读
0x2111 天前
[论文阅读]Friend or Foe: How LLMs‘ Safety Mind Gets Fooled by Intent Shift Attack
论文阅读
Valueyou241 天前
论文阅读——CenterNet
论文阅读·python·opencv·目标检测·计算机视觉
谷谷谷雨2 天前
SRv6论文阅读
论文阅读
CV炼丹术2 天前
AAAI 2026|港科大等提出ReconVLA:利用视觉重构引导,刷新机器人操作精度!(含代码)
论文阅读·计算机视觉·重构·机器人·aaai 2026