PySpark检查两个DataFrame的数据是否一致

weixin_307779132025-02-20 18:53

数据条数比较

可以使用 count() 方法来获取每个DataFrame的行数，若行数不同，则数据肯定不一致。示例代码如下：

python 复制代码

df1 = spark.createDataFrame([(1, 'a'), (2, 'b')], ['id', 'name'])
df2 = spark.createDataFrame([(1, 'a'), (2, 'b'), (3, 'c')], ['id', 'name'])

if df1.count()!= df2.count():
    print("两个DataFrame数据条数不一致")

数据排序后比较

先对两个DataFrame按照相同的列进行排序，再将它们转换为RDD，然后使用 zip 函数将两个RDD的元素一一对应地组合成元组，最后检查每个元组中的两个元素是否相等。示例代码如下：

python 复制代码

sorted_df1 = df1.sort('id')
sorted_df2 = df2.sort('id')

rdd1 = sorted_df1.rdd
rdd2 = sorted_df2.rdd

if all(x == y for x, y in rdd1.zip(rdd2)):
    print("两个DataFrame数据一致")
else:
    print("两个DataFrame数据不一致")

数据差值比较

使用 subtract 方法获取两个DataFrame的差值，如果差值DataFrame为空，则说明两个DataFrame数据一致。示例代码如下：

python 复制代码

diff_df1 = df1.subtract(df2)
diff_df2 = df2.subtract(df1)

if diff_df1.count() == 0 and diff_df2.count() == 0:
    print("两个DataFrame数据一致")
else:
    print("两个DataFrame数据不一致")

数据哈希值比较

计算每个DataFrame中每行数据的哈希值，然后比较两个DataFrame的哈希值集合是否相等。示例代码如下：

python 复制代码

from pyspark.sql.functions import hash

hashed_df1 = df1.select(hash(*df1.columns).alias('hash_value'))
hashed_df2 = df2.select(hash(*df2.columns).alias('hash_value'))

hash_set1 = set(hashed_df1.rdd.flatMap(lambda x: x).collect())
hash_set2 = set(hashed_df2.rdd.flatMap(lambda x: x).collect())

if hash_set1 == hash_set2:
    print("两个DataFrame数据一致")
else:
    print("两个DataFrame数据不一致")