Mantle: A Programmable Metadata Load Balancer for the Ceph File System——论文泛读

SC 2015 Paper元数据论文阅读汇总

问题

优化Ceph的元数据局部性和负载平衡。

现有方法

提高元数据服务性能的最常见技术是在专用的元数据服务器(MDS)节点之间平衡负载 16, 25, 26, 21, 28。常见的方法是鼓励独立增长并减少通信,使用诸如懒惰客户端和MDS同步 16, 18, 29, 9, 30、inode路径/权限缓存 4, 11, 28、具有局部感知的/对象间事务 21, 30, 17, 18 和高效的查找表 4, 30 等技术。

尽管具有迁移元数据的机制,如锁 21, 20、零拷贝和两阶段提交 21 以及目录分区 28, 16, 18, 25,但这些系统未能充分利用局部性。

本文方法

为了达到平衡,我们需要了解资源迁移和MDS节点处理能力的权衡。我们介绍了Mantle,这是一个基于CephFS的系统,它通过将迁移策略与机制分离来暴露这些因素,判断应该进行负载均衡还是并行(负载均衡会导致额外的性能开销)。

我们通过复制一种最先进的元数据平衡器的策略来展示这种方法的灵活性和透明性,并最后通过将该策略与同一系统上的其他自定义平衡器进行比较来总结。

总结

针对元数据的局部性和负载均衡问题,作者提出进行负载均衡时会导致性能下降,在调度前需要先考虑调度带来的影响。作者提出Mantle,将迁移策略和文件系统解耦。

相关推荐
m4Rk_1 小时前
【论文阅读】Agent 记忆机制(70):RecMem——只在记忆反复出现时才调用 LLM 做巩固
论文阅读·人工智能·学习·开源·github
m4Rk_20 小时前
【论文阅读】Agent 记忆机制(69):STITCH——用上下文意图解决“语义相关但情境错误”的记忆检索
论文阅读·人工智能·学习·开源·github
Rocky Ding*1 天前
【三年面试五年模拟】2026-09-08 DeepSeek AI Agent开发岗社招一面:20道问题与系统设计题全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·deepseek
林浩杨_1 天前
中科大 × NUS × 美团提出Pigeon:个性化图像生成
论文阅读·人工智能
CV-杨帆2 天前
论文阅读 ICML 2026 SkillTrojan: Backdoor Attacks on Skill-Based Agent Systems
论文阅读
m4Rk_2 天前
【论文阅读】Agent 记忆机制(68):Memp——把历史轨迹沉淀为可检索、可纠错的程序性记忆
论文阅读·人工智能·学习·开源·github
Rocky Ding*2 天前
一文读懂LLM Agent Skills 的运行时本质:从能力路由到渐进式披露
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·agent skills
RobinDevNotes2 天前
Palmier Pro:AI时代的Mac视频编辑器
人工智能·ceph·macos·ai·音视频·视频编辑·mcp
Rocky Ding*3 天前
一文读懂MiniCPM5-2B:端侧 Agent 的突破,不是“小模型打赢大模型”,而是训练系统开始开源
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·minicpm5-2b
XLYcmy3 天前
ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory论文阅读
论文阅读·google·llm·agent·记忆·harness·自进化