技术栈

实时更新

SelectDB技术团队
16 天前
大数据·clickhouse·elk·elasticsearch·全文检索·复杂查询·实时更新
ELK 太占磁盘、ES 总报写入拒绝:从归因到可执行的优化清单【摘要】ELK 集群的两个高频故障——磁盘占用持续上涨、写入报拒绝——往往同源:索引开销被低估、写入批太小、副本重复构建。本文先给出 Elasticsearch 侧的归因方法与可调整项(字段索引范围、best_compression、refresh_interval、副本、ILM 与磁盘水位线),再给出 Apache Doris 侧的对应解法:单副本导入、时序 Compaction、攒批与参数配置。文中所有性能与成本数字均带场景前提与出处,包含中信信用卡中心、网易的实测数据,以及可复现第三方基准 Agen
SelectDB技术团队
1 个月前
数据分析·实时数仓·数据更新·主键模型·实时更新·写入更新·olap 引擎
实时主键更新选型:Doris MOW vs StarRocks 主键模型原理解析结论先行:Doris 与 StarRocks 都支持实时主键更新(UPSERT)。Doris 自 1.2 起提供 Merge-on-Write(MoW),2.1 起成为默认实现——写入即合并、查询免多版本合并;StarRocks 主键表采用 Delete+Insert 策略,同样避免读时合并。值得强调的是,同一张 Doris MOW 表还能同时承载上篇的高并发点查,读写并存场景更省一套架构。
我是有底线的