在mac上面使用parquet-cli查看parquet文件

问题

需要在mac上面简单查看parquet文件,parquet格式是hadoop生态的文件格式。也就是说,这个是大数据这块领域的基础文件格式之一。

安装

bash 复制代码
brew install parquet-cli

使用

bash 复制代码
# 查看元数据
parquet meta run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看前面几条数据
parquet head run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看数据格式
parquet schema run-1758765177209-part-block-0-0-r-00000-snappy.parquet

问题

使用过程中出现了如下问题:

Argument error: INT96 is deprecated. As interim enable READ_INT96_AS_FIXED flag to read as byte array.

然后parquet-cli这个工具就死活打不开含有INT96类型字段的parquet文件。然后,在mac上面使用一个叫Parquet Viewer的工具,连接如下:
Parquet Viewer

参考

相关推荐
總鑽風27 分钟前
搭建Spring Boot + ELK日志平台,实现可视化日志监控
spring boot·elk·macos
仗剑_走天涯5 小时前
hadoop reduce阶段 对象重用问题
大数据·hadoop·分布式
CS创新实验室7 小时前
《计算机网络》深入学:IP地址 VS. MAC地址
tcp/ip·计算机网络·macos
是孑然呀7 小时前
mac m4mini安装软件
macos
简单点了7 小时前
mac安装Java环境
java·macos
涔溪7 小时前
腾讯 WorkBuddy 超详细卸载清理文档(适用于 Windows 1011 + macOS 全版本,彻底卸载、不留残留)
windows·macos·ai·workbuddy
仗剑_走天涯7 小时前
hadoop 中 yarn node -list 显示0 问题解决
大数据·hadoop·分布式
简单点了7 小时前
mac安装idea
java·macos·intellij-idea
涔溪9 小时前
腾讯 WorkBuddy 超详细安装教程(Windows+macOS 全步骤)
windows·macos·workbuddy
一个人旅程~9 小时前
如何解决跨平台(macos/win)与跨app软件工具(Pages、Keynote/office等)的字体错乱与排版混乱问题?(完整版)
linux·windows·经验分享·macos·电脑