数据裁剪

SelectDB技术团队21 天前
大数据·数据库·apache·数据库系统·数据裁剪
Apache Doris 内部数据裁剪与过滤机制的实现原理 | Deep Dive对于分析型数据库系统来说,读取数据所需要的磁盘 IO 和网络资源耗费了大量的机器资源,尤其是存算分离模式下,远端存储的数据通过网络传输到本地进行数据处理,所以数据裁剪能力对于分析型数据库系统来说非常重要。近期的研究中也体现出这点,比如在扫描节点上使用过滤操作可以降低 50% 以上的执行时间 [1],PowerDrill 通过应用恰当的策略可以裁剪 92.41% 的数据读取,而 Snowflake 的测试显示其在自己的消费者数据集上可以裁剪 99.4% 的数据 [2]。
Light601 个月前
配置化权限·操作码·数据裁剪·前后端一体化·零代码解耦
配置即权限:从传统开源 RBAC 框架到 SPARK 的六层数据护盾,告别改权限就要改代码的魔咒摘要 在多租户与数字化转型时代,权限控制不仅是按钮显隐或接口拦截,而是一套可配置、可审计、可动态演进的全链路“安全护盾”。本文先从哲学层面厘清数据权限边界,再对比传统开源 RBAC 框架与 SPARK(领码方案)的设计思路,提出“操作码 → 模型 → 记录 → 字段”四层裁剪蓝图,结合前后端一体化、运行时策略引擎与 AI 风控场景,给出零代码落地的六步迁移法与实操清单,帮助架构师彻底摆脱“改权限就要改代码”的魔咒。
我是有底线的