技术栈

pandas_udf

SLUMBER_PARTY_
2 天前
pyspark·pandas_udf
pyspark大规模数据加解密优化实践假如有1亿行数据为了提高效率,我们可以利用mapPartitions在每个分区内部只初始化一次解密对象,避免重复初始化。