向量化和列式存储

什么是向量化

在这个之前我们得首先了解 单指令单数据指令(SISD) 和 单指令多数据指令(SIMD)

SISD是一种经典的计算机处理架构,其中一个处理器执行单一指令,并每次仅处理一个数据。

SIMD是指一条指令可以同时处理多个数据,如一条指令就能完成A1+B1=C1 和A2+B2=C2 的并行计算。

目前SISD虽然让可以采取流水线技术以提高速度,但它本质上仍然是串行处理。

而SIMD依靠的是并行处理数据数据来实现的,比如说增大寄存器的宽度从64位增大到256位,从而使处理速度增大4倍的速度。当然这也是依靠了计算机的指令集能够支持。

行存储

数据的存储 是以行的的数据为维度处理的,无论用户要获取几列数据,都必须把整行的数据都给读取出来,再获取所需的列。

列存储

数据的存储 是以列维度进行存储的,用户获取几列数据无需再把整行的数据读取出来,只需要读取对应的列数据。

为什么列存储适合向量化

  1. 数据局部性与CPU 利用率:
    列式存储将同一列的数据在物理上聚集在一起,这种紧凑的存储方式能更好地利用 CPU 的缓存机制。当执行向量化操作时, CPU 可以一次性加载大量同类型数据到缓存中,大大提高了缓存命中率和CPU 的利用率。
  2. SIMD 指令优化:
    CPU 的SIMD 指令允许对多个数据执行相同操作,这在处理向量化数据时能带来显著的性能提升。列式存储的同质数据是SIMD 指令的理想输入,能够高效地进行批量计算。
  3. 减少I/O 操作:
    分析查询往往只需要少数几列的数据,列式存储只需读取目标列,避免了读取整个行的开销,显著减少了I/O 操作。
  4. 高压缩比与轻量级压缩:
    同一列内的数据类型相同,相似度高,更容易通过轻量级的压缩算法(如字典编码、位压缩等)进行高效压缩,进一步减少存储空间并加速数据读取和处理。
  5. 更快的查询引擎:
    向量化技术通过高效利用CPU 缓存和SIMD 指令,能够开发出更快速的分析查询引擎。列式存储为向量化数据处理提供了理想的底层数据结构,两者结合,能大幅提升查询执行速度。

而相对于行存储

  1. 对于一行数据,我们只需要其中几列的值,CPU的缓存命中率差,而且存储的数据有效率低。
  2. 如果想要对行数据进行向量化处理,得需要把行数据转换为对应的列批或者列向量等数据结构存储,这其中会增加一次转换的开销
  3. 对于一行数据的存储,因为每个列的类型不一样,难以采用有效的压缩策略进行压缩,这种增大了I/O操作

参考

  1. 列数据库和向量化

  2. Spark向量化计算在美团生产环境的实践

  3. 寄存器宽度的作用

    寄存器宽度的主要作用是决定了它一次可以存储和处理的数据量,更宽的寄存器可以同时处理更多的数据位,从而提高CPU的运算效率和数据吞吐能力。例如,64位宽的CPU比32位CPU一次能够计算更多的数据,这对于处理大数据集和执行复杂计算至关重要。

  4. 拓展指令集

    现代处理器有扩展的指令集,在单独的一个指令中,该指令集可以扩展向量执行概念到多
    列的值。

相关推荐
这个DBA有点耶7 小时前
库内计算推理:一条SQL背后的算子融合,和外挂方案差了几次网络往返
数据库·人工智能·sql
喵个咪13 小时前
GoWind Admin 拆解:BI 大屏设计器——schema 即 JSON、resolver 注入与三张快照表的口径谱系
大数据·后端·go
武子康14 小时前
H3-World 的 11.3 小时训练数据,是怎样对齐成动作监督的?
大数据·人工智能·深度学习
字节跳动数据平台15 小时前
火山引擎知识引擎VeKnow进化之路(下):让 AI 智能体更可用、更可信、更懂业务
大数据
Elastic 中国社区官方博客15 小时前
更少的位数,相同的召回率:DiskBBQ 更保守的自动校准扫描
大数据·运维·开发语言·人工智能·elasticsearch·搜索引擎
MyBili16 小时前
Chrome隐私安全配置:完整防护指南
大数据·chrome·谷歌浏览器·隐私安全·浏览器防护·cookie管理·上网痕迹清理
真上帝的左手16 小时前
19. 大数据-数据同步-工具
大数据·数据同步
数字孪生视频孪生16 小时前
在线重构,实时同步:视频动态三维重建打造 “常更常新” 的数字底座
大数据·人工智能·重构·架构·空间计算
Aloudata17 小时前
Claude 做数据分析的这两年:一份复盘与发展线索
大数据·数据库·人工智能·数据挖掘·数据分析·dataagent
Decay__17 小时前
01_SQLServer 体系架构全解 —— 实例进程、关系引擎、SQLOS 与事务日志深入
运维·数据库·sql·mysql·架构