学习Spark遇到的问题

黄黄黄黄黄莹2024-01-24 21:13

1.【报错】AttributeError: 'SparkContext' object has no attribute 'setcheckpointDir'

本人传参：

python 复制代码

    conf = SparkConf().setAppName("test").setMaster("local[*]")
    sc = SparkContext(conf=conf)
    # 1.告知spark，开启CheckPoint功能
    sc.setcheckpointDir("hdfs://node1:8020/output/ckp")

分析：SparkContext找不到setcheckpointDir方法，参数传参错误

解决：将setcheckpointDir改成setCheckpointDir，其中c字母大写。是因为两个方法的传参不同导致

updateTime：2024-01-23