compaction

2601_962296513 天前
compaction·claudecode·promptcaching·缓存优先agentharness·工具建模
Claude Code:缓存优先 Agent Harness目标说明读完你应能独立完成四件事:1. 交代清楚, 关于两种启用的方式, 这两种方式分别是顶层的那种, 还有块级的那种, 另外, 还要说明前缀顺序, 也就是 `tools → → ` 这样的顺序。
李兆龙的博客8 天前
compaction
问津集 #17:Terark-DS——KV 分离后的 WAL 写入、冗余策略与 GCTerark-DS 处理 KV-separated LSM-tree 部署到存算分离架构后出现的写性能与空间效率问题。KV Separation 让 Compaction 只处理 Key SST,降低了写放大;WAL 与用户写仍要经过远端网络,三副本会放大 Value SST 的存储量与写入流量,GC 也会因为远端读取和逐 Key Lookup 变慢,延后无效 Value 的回收。
StarRocks_labs10 天前
starrocks·flink·sstable·compaction·tablet·主键索引·存算分离架构
StarRocks 存算分离架构下的大规模实时导入优化实践作者:王衍波, StarRocks TSC Member;镜舟科技高级研发工程师导读:存算分离架构能够显著降低存储成本并提升系统弹性,但随着实时数据规模不断增长,对象存储请求、小文件、Compaction 以及 Publish 等环节逐渐成为大规模实时导入的性能瓶颈。针对这些挑战,StarRocks 围绕文件合并、大 Tablet、Tablet 内并行和主键索引优化等关键技术进行了系统性优化,并在多个生产场景中取得了显著效果。本文整理自王衍波在 Flink Forward Asia 2026 的分享,将介
李兆龙的博客10 天前
compaction
问津集 #15:RangeReduce——查询驱动 Compaction 收益RangeReduce 复用 Range Query 已经完成的 I/O、k-way merge、旧版本去重与 Tombstone 过滤,将有效 Entry 同时写回一个更深层的 Sorted Run。这批数据后续做 Compaction 时,不必再完整支付一次读取、归并和无效版本清理成本;重叠查询也可以少读一些文件和旧版本。论文在 RocksDB 8.5.0 上实现原型,报告 Compaction Debt 最高降低 90%、总 Data Movement 最高降低 12%、Space Amplific
arvin_xiaoting6 个月前
学习·系统架构·学习总结·ai agent·compaction·openclaw
OpenClaw学习总结_I_核心架构_6:Compaction详解阶段:I. 核心架构 课序:第 6 课 前置知识:I-5. Memory 系统 后续课程:I-7. Streaming
私房菜8 个月前
linux·compaction·kcompactd·proactive·compact_zone
Linux内存管理(81):compact_zone 详解源码基于:Linux6.12约定:我们了解了内存规整的4种方式:四种方式的核心处理函数都是 compact_zone():
StarRocks_labs9 个月前
数据库·starrocks·compaction·memtable·本地磁盘 spill
从小文件困局到“花小钱办大事”:StarRocks 存算分离批量导入优化实践作者:罗一鑫 StarRocks Committer导读:在存算分离架构下,“一次性导入海量历史数据”正成为被放大的隐形风险。本文介绍 StarRocks 如何从写入源头重构大导入路径:通过“内存→本地磁盘 spill→集中 merge→对象存储”,减少远程写入和重复开销,降低 S3 写入次数并放大文件粒度,释放本地 I/O 能力,从源头缓解小文件问题,帮助用户以更低投入获得更高效、更稳定的使用体验。
zincooo3 年前
大数据·hbase·compaction
HBase之Compaction随着memstore的不断flush,storefile的数量将会不断增加。compaction将通过合并storefile来减少文件数量,并提高读性能。conpaction以store为单位
我是有底线的