向量化和列式存储

什么是向量化

在这个之前我们得首先了解 单指令单数据指令(SISD) 和 单指令多数据指令(SIMD)

SISD是一种经典的计算机处理架构,其中一个处理器执行单一指令,并每次仅处理一个数据。

SIMD是指一条指令可以同时处理多个数据,如一条指令就能完成A1+B1=C1 和A2+B2=C2 的并行计算。

目前SISD虽然让可以采取流水线技术以提高速度,但它本质上仍然是串行处理。

而SIMD依靠的是并行处理数据数据来实现的,比如说增大寄存器的宽度从64位增大到256位,从而使处理速度增大4倍的速度。当然这也是依靠了计算机的指令集能够支持。

行存储

数据的存储 是以行的的数据为维度处理的,无论用户要获取几列数据,都必须把整行的数据都给读取出来,再获取所需的列。

列存储

数据的存储 是以列维度进行存储的,用户获取几列数据无需再把整行的数据读取出来,只需要读取对应的列数据。

为什么列存储适合向量化

  1. 数据局部性与CPU 利用率:
    列式存储将同一列的数据在物理上聚集在一起,这种紧凑的存储方式能更好地利用 CPU 的缓存机制。当执行向量化操作时, CPU 可以一次性加载大量同类型数据到缓存中,大大提高了缓存命中率和CPU 的利用率。
  2. SIMD 指令优化:
    CPU 的SIMD 指令允许对多个数据执行相同操作,这在处理向量化数据时能带来显著的性能提升。列式存储的同质数据是SIMD 指令的理想输入,能够高效地进行批量计算。
  3. 减少I/O 操作:
    分析查询往往只需要少数几列的数据,列式存储只需读取目标列,避免了读取整个行的开销,显著减少了I/O 操作。
  4. 高压缩比与轻量级压缩:
    同一列内的数据类型相同,相似度高,更容易通过轻量级的压缩算法(如字典编码、位压缩等)进行高效压缩,进一步减少存储空间并加速数据读取和处理。
  5. 更快的查询引擎:
    向量化技术通过高效利用CPU 缓存和SIMD 指令,能够开发出更快速的分析查询引擎。列式存储为向量化数据处理提供了理想的底层数据结构,两者结合,能大幅提升查询执行速度。

而相对于行存储

  1. 对于一行数据,我们只需要其中几列的值,CPU的缓存命中率差,而且存储的数据有效率低。
  2. 如果想要对行数据进行向量化处理,得需要把行数据转换为对应的列批或者列向量等数据结构存储,这其中会增加一次转换的开销
  3. 对于一行数据的存储,因为每个列的类型不一样,难以采用有效的压缩策略进行压缩,这种增大了I/O操作

参考

  1. 列数据库和向量化

  2. Spark向量化计算在美团生产环境的实践

  3. 寄存器宽度的作用

    寄存器宽度的主要作用是决定了它一次可以存储和处理的数据量,更宽的寄存器可以同时处理更多的数据位,从而提高CPU的运算效率和数据吞吐能力。例如,64位宽的CPU比32位CPU一次能够计算更多的数据,这对于处理大数据集和执行复杂计算至关重要。

  4. 拓展指令集

    现代处理器有扩展的指令集,在单独的一个指令中,该指令集可以扩展向量执行概念到多
    列的值。

相关推荐
果粒蹬i2 小时前
Elasticsearch 单机部署实测:安装流程、常见坑点与远程访问配置
大数据·elasticsearch·搜索引擎
AC赳赳老秦2 小时前
OpenClaw数据库高效操作指南:MySQL/PostgreSQL批量处理与数据迁移实战
大数据·数据库·mysql·elasticsearch·postgresql·deepseek·openclaw
小王毕业啦2 小时前
2006-2023年 省级-建成区绿化覆盖率数据(xlsx)
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
祖传F873 小时前
quickbi数据集数据查询时间字段显示正确,仪表板不显示
数据库·sql·阿里云
悟道子HD3 小时前
SRC漏洞挖掘——2.SQL注入漏洞实战详解
sql·web安全·网络安全·渗透测试·sql注入·sqlmap·暴力破解
AEIC学术交流中心4 小时前
【快速EI检索 | SPIE出版】第六届中国膜计算论坛暨2026年人工智能、大数据与电气自动化国际学术会议(CWMC&AIBDE 2026)
大数据·人工智能·量子计算
历程里程碑4 小时前
二叉树---二叉树的中序遍历
java·大数据·开发语言·elasticsearch·链表·搜索引擎·lua
AC赳赳老秦5 小时前
OpenClaw text-translate技能:多语言批量翻译,解决跨境工作沟通难题
大数据·运维·数据库·人工智能·python·deepseek·openclaw
Elastic 中国社区官方博客6 小时前
使用 Elasticsearch + Jina embeddings 进行无监督文档聚类
大数据·人工智能·elasticsearch·搜索引擎·全文检索·jina
需要点灵感6 小时前
SQL Server 存储过程语法整理
数据库·sql