技术栈

kv存储

seacracker
13 天前
人工智能·kv存储·rustfs·powerfs·s3对象存储
不重造 S3 轮子:PowerFS 如何把 RustFS 变成自己的 S3 服务面一套自研分布式文件系统,要在不改 S3 语义代码的前提下,把 RustFS 的 S3 API / IAM / 控制台完整复用起来,同时让对象数据继续落在自己的 needle 存储上。本文记录了这次集成的方案选型、注入点设计、元数据与数据面映射,以及在 EC、压缩、Multipart 读路径上踩过的几个"会坏数据"的坑。
妙BOOK言
3 年前
论文阅读·笔记·kv存储·分离式内存
论文阅读笔记整理(持续更新)FAST 2023 Paper 泛读笔记针对分离式内存系统中,KV存储性能不高的问题,由于内存节点资源有限,现有方法难以直接修改B树或学习索引的模型。作者提出提出了ROLEX,一种可扩展的面向RDMA的有序键值存储,使用分解存储系统的学习索引。包括几个优化点:插入和再训练操作解耦,使计算节点能够直接通过单边RDMA动词修改远程数据,而无需再训练模型,提高可扩展性;其他计算节点通过具有一致性保证的旧模型来识别新修改的数据;异步使用专用计算资源重新训练模型,以提高模型的准确性。
我是有底线的