在mac上面使用parquet-cli查看parquet文件

亚林瓜子2025-09-30 8:34

问题

需要在mac上面简单查看parquet文件，parquet格式是hadoop生态的文件格式。也就是说，这个是大数据这块领域的基础文件格式之一。

安装

bash 复制代码

brew install parquet-cli

使用

bash 复制代码

# 查看元数据
parquet meta run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看前面几条数据
parquet head run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看数据格式
parquet schema run-1758765177209-part-block-0-0-r-00000-snappy.parquet

问题

使用过程中出现了如下问题：

Argument error: INT96 is deprecated. As interim enable READ_INT96_AS_FIXED flag to read as byte array.

然后parquet-cli这个工具就死活打不开含有INT96类型字段的parquet文件。然后，在mac上面使用一个叫Parquet Viewer的工具，连接如下：
Parquet Viewer

参考

Apache Parquet
How to Read Parquet Files on macOS