列存储引擎

Apache Arrow IPC 消息格式Apache Arrow 的 IPC（Inter-Process Communication，进程间通信）消息格式是一种用于在不同进程间高效传输数据的序列化格式，它允许不同系统或语言环境中的应用程序以统一的方式交换数据，而无需关心数据的具体存储细节。其 IPC 消息格式包括两种主要的二进制格式： Streaming 流式格式和 RandomAccessFile 随机访问格式，本文介绍了这两种消息格式的具体形式和其元数据使用到的 FlatBuffers 序列化方法，并通过一个简例说明消息格式的实际使用

Apache Arrow 的列式内存格式Apache Arrow 的列式存储格式是一种内存数据组织标准，它通过物理布局、Array（数组）、Schema（模式）和 RecordBatch（记录批次）等，优化了大数据的存储与处理。这种格式以列而非行来存储数据，从而提高了数据访问效率，支持跨平台和多种编程语言，且无需序列化开销，适应现代硬件架构，特别适合于高效的数据分析操作。