【分布式计算框架 MapReduce】高级编程—多任务数据分析

目录

[一、对于 sogou_500w_utf 数据，使用 MapReduce 编程模型完成对以下数据的分析任务。](#一、对于 sogou_500w_utf 数据，使用 MapReduce 编程模型完成对以下数据的分析任务。)

[1. 统计搜索的关键字查询频度，找出搜索次数超过 20 次的关键字的个数。](#1. 统计搜索的关键字查询频度，找出搜索次数超过 20 次的关键字的个数。)

[① 运行截图](#① 运行截图)

[② 源代码](#② 源代码)

[二、改造 WordCount 程序，使得结果的排序规则为按照单词词频从大到小排序。](#二、改造 WordCount 程序，使得结果的排序规则为按照单词词频从大到小排序。)

[1. 输入](#1. 输入)

[2. 输出](#2. 输出)

[3. 源代码](#3. 源代码)

---

一、对于 sogou_500w_utf 数据，使用 MapReduce 编程模型完成对以下数据的分析任务。

1. 统计搜索的关键字查询频度，找出搜索次数超过 20 次的关键字的个数。

① 运行截图

hadoop jar /home/2130502441ryx/SogouKeyWord.jar org/ryx/KeyWordDriver /sogou.500.utf8 /output8

查看输出文件

hdfs dfs -ls /output8

查看运行结果：（前四十条）

hdfs dfs -cat /output8/part-r-00000 | head -n 40

② 源代码

KeyWordMapper.java

KeyWordReducer.java

KeyWordDriver.java

二、改造 WordCount 程序，使得结果的排序规则为按照单词词频从大到小排序。

1. 输入

hdfs dfs -cat /input2

2. 输出

hadoop jar /home/2130502441ryx/MapReduceTest.jar org/ryx/WordCount /input2 /output9

hdfs dfs -ls /output9

hdfs dfs -cat /output9/part-r-00000

3. 源代码