在mac上面使用parquet-cli查看parquet文件

问题

需要在mac上面简单查看parquet文件,parquet格式是hadoop生态的文件格式。也就是说,这个是大数据这块领域的基础文件格式之一。

安装

bash 复制代码
brew install parquet-cli

使用

bash 复制代码
# 查看元数据
parquet meta run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看前面几条数据
parquet head run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看数据格式
parquet schema run-1758765177209-part-block-0-0-r-00000-snappy.parquet

问题

使用过程中出现了如下问题:

Argument error: INT96 is deprecated. As interim enable READ_INT96_AS_FIXED flag to read as byte array.

然后parquet-cli这个工具就死活打不开含有INT96类型字段的parquet文件。然后,在mac上面使用一个叫Parquet Viewer的工具,连接如下:
Parquet Viewer

参考

相关推荐
Mintimate2 天前
WorkBuddy 上手: 让脚本项目 Homebrew CN 变成会排障的 Agent
macos·边缘计算·agent
fthux3 天前
如果你用 Mac,那你可能需要 Noti Shift
macos·开源·github
counterxing6 天前
最近发现一个 Mac 工具,有点像把 Raycast、语音输入法、截图和录屏塞到了一起
macos·ai编程·claude
WhoAmI11 天前
MapReduce框架原理解析一:InputFormat
大数据·hadoop
WhoAmI11 天前
MapReduce框架原理解析三:OutputFormat
大数据·hadoop
WhoAmI11 天前
MapReduce框架原理解析二:Shuffle
大数据·hadoop
元Y亨H13 天前
MacBook Air 开发神器:IDEA 与 PyCharm 极简安装及环境配置
macos
yuanyxh14 天前
macOS 应用 - 纯对话生成
前端·macos·ai编程
AI创界者16 天前
PilotTTS 一键整合包(Win/Mac):8G 显存畅跑,实测解锁情绪与副语言的精准控制
人工智能·macos·aigc·音视频
王小王-12316 天前
基于 Hive 的网易云音乐数据分析及可视化系统
hive·hadoop·数据分析·音乐数据分析·网易云音乐分析·hive音乐分析·hadoop网易云