向量化和列式存储

什么是向量化

在这个之前我们得首先了解 单指令单数据指令(SISD) 和 单指令多数据指令(SIMD)

SISD是一种经典的计算机处理架构，其中一个处理器执行单一指令，并每次仅处理一个数据。

SIMD是指一条指令可以同时处理多个数据，如一条指令就能完成A1+B1=C1 和A2+B2=C2 的并行计算。

目前SISD虽然让可以采取流水线技术以提高速度，但它本质上仍然是串行处理。

而SIMD依靠的是并行处理数据数据来实现的，比如说增大寄存器的宽度从64位增大到256位，从而使处理速度增大4倍的速度。当然这也是依靠了计算机的指令集能够支持。

行存储

数据的存储 是以行的的数据为维度处理的，无论用户要获取几列数据，都必须把整行的数据都给读取出来，再获取所需的列。

列存储

数据的存储 是以列维度进行存储的，用户获取几列数据无需再把整行的数据读取出来，只需要读取对应的列数据。

为什么列存储适合向量化

1. 数据局部性与CPU 利用率：
   列式存储将同一列的数据在物理上聚集在一起，这种紧凑的存储方式能更好地利用 CPU 的缓存机制。当执行向量化操作时， CPU 可以一次性加载大量同类型数据到缓存中，大大提高了缓存命中率和CPU 的利用率。
2. SIMD 指令优化：
   CPU 的SIMD 指令允许对多个数据执行相同操作，这在处理向量化数据时能带来显著的性能提升。列式存储的同质数据是SIMD 指令的理想输入，能够高效地进行批量计算。
3. 减少I/O 操作：
   分析查询往往只需要少数几列的数据，列式存储只需读取目标列，避免了读取整个行的开销，显著减少了I/O 操作。
4. 高压缩比与轻量级压缩：
   同一列内的数据类型相同，相似度高，更容易通过轻量级的压缩算法（如字典编码、位压缩等）进行高效压缩，进一步减少存储空间并加速数据读取和处理。
5. 更快的查询引擎：
   向量化技术通过高效利用CPU 缓存和SIMD 指令，能够开发出更快速的分析查询引擎。列式存储为向量化数据处理提供了理想的底层数据结构，两者结合，能大幅提升查询执行速度。

而相对于行存储

1. 对于一行数据，我们只需要其中几列的值，CPU的缓存命中率差，而且存储的数据有效率低。
2. 如果想要对行数据进行向量化处理，得需要把行数据转换为对应的列批或者列向量等数据结构存储，这其中会增加一次转换的开销
3. 对于一行数据的存储，因为每个列的类型不一样，难以采用有效的压缩策略进行压缩，这种增大了I/O操作

参考

1. 列数据库和向量化

2. Spark向量化计算在美团生产环境的实践

3. 寄存器宽度的作用

   寄存器宽度的主要作用是决定了它一次可以存储和处理的数据量，更宽的寄存器可以同时处理更多的数据位，从而提高CPU的运算效率和数据吞吐能力。例如，64位宽的CPU比32位CPU一次能够计算更多的数据，这对于处理大数据集和执行复杂计算至关重要。

4. 拓展指令集

   现代处理器有扩展的指令集，在单独的一个指令中，该指令集可以扩展向量执行概念到多
   列的值。