Spark 词频统计练习

chunyublog2026-10-13 12:39

第一步：创建目录和测试文件

在终端中输入以下命令（需要管理员权限创建目录）：

复制代码

# 创建练习目录
sudo mkdir -p /usr/local/spark/mycode/rdd

# 创建word.txt并写入测试内容
cat > /usr/local/spark/mycode/rdd/word.txt << 'EOF'
Hadoop is good
Spark is fast
Spark is better
EOF

输入 sudo 密码后回车，然后把上面三行文本写入文件，按 Ctrl+D 保存。

你可以用 cat /usr/local/spark/mycode/rdd/word.txt 确认文件内容正确。

第二步：启动 PySpark

复制代码

# 进入spark目录后启动pyspark（根据你实际安装路径调整）
cd /usr/local/spark
./bin/pyspark

等待出现 >>> 提示符和 SparkContext 信息（变量名是 sc）。

第三步：执行词频统计代码

在 >>> 后面依次输入：

复制代码

lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")

wordCount = lines.flatMap(lambda line: line.split(" ")).map(lambda word: (word,1)).reduceByKey(lambda a,b:a+b)

print(wordCount.collect())

预期结果

执行完后应该输出类似：

复制代码

[('good', 1), ('Spark', 2), ('is', 3), ('better', 1), ('Hadoop', 1), ('fast', 1)]