spark-sql migration

spark-sql migration

Since Spark 3.2, Parquet files with nanosecond precision for timestamp type (INT64 (TIMESTAMP(NANOS, true))) are not readable. To restore the behavior before Spark 3.2, you can set spark.sql.legacy.parquet.nanosAsLong to true.

https://github.com/apache/spark/blob/fa66d28f0e34342b72706210d685180c084938d9/docs/sql-migration-guide.md?plain=1#L179

相关推荐
AllData公司负责人3 分钟前
数据 + AI 一体化 I 机器学习中心(CubeStudio)实现目标识别可视化训练与弹性部署,让视觉模型快速投产
大数据·人工智能·机器学习·大模型·数据采集·ai一体化
阿俊-全栈开发37 分钟前
LikeShop 多商户高级版商城满减满赠活动的自定义规则二开实现
大数据·人工智能·likeshop开源商城·likeshop单商户标准版·多商户源码
SelectDB技术团队41 分钟前
ClickHouse SQL 好学吗?从 MySQL 迁移 Doris 的完整兼容验证
人工智能·sql·mysql·clickhouse·开源·apache doris·增量计算
magic_kid_20101 小时前
HDFS 故障复盘:千万级 block 导致 FBR 超过 128 MiB,DataNode 被判定为 dead
大数据·hadoop·hdfs·hadoop 故障
LCD液晶屏2 小时前
立煌科技代理京东方液晶屏的核心优势与应用价值
大数据·人工智能·科技
夕除10 小时前
redis--IO 多路复用(select + poll)
数据库·sql
Data-Miner10 小时前
面对 AI 大模型智能涌现,如何从技术层面保护好隐私与数据安全?
大数据·人工智能
会议咨询12 小时前
2027年电力电子、人工智能与大数据国际会议(PEABD 2027)
大数据·人工智能·电力电子
GlobalInfo12 小时前
全球包装检测用3D轮廓传感器市场调研:2026年规模预计达1.87亿美元,食品医药与电商物流需求推动增长
大数据·人工智能·3d
程序 代码狂人13 小时前
切片表与分区表的区别(数据开发面试版)
java·大数据·开发语言·数据仓库·算法