技术栈
pandas_udf
SLUMBER_PARTY_
2 天前
pyspark
·
pandas_udf
pyspark大规模数据加解密优化实践
假如有1亿行数据为了提高效率,我们可以利用mapPartitions在每个分区内部只初始化一次解密对象,避免重复初始化。