spark与flink的wordcount示例

spark的wordcount示例:

scala 复制代码
package spark

import org.apache.spark._

object TestSparkWordCount {
  def main(args: Array[String]): Unit = {
    val sc = new SparkContext(new SparkConf().setAppName("wordcount").setMaster("local[*]"))
//    hello scala
//    hello spark
    val rdd = sc.textFile("src/main/resources/test.txt")
    val wordCount = rdd.flatMap(line => line.split(" "))
      .map(word => (word, 1))
      .reduceByKey((a, b) => (a + b))
    wordCount.foreach(println)
//    (spark,1)
//    (scala,1)
//    (hello,2)
  }

}

flink的wordcount示例:

scala 复制代码
package com.pinko.testcase

import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.api.scala._
object StreamWordCount {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)
//    hello world
//    hello flink
    val text = env.readTextFile("src/main/resources/output/1.txt")
    val result = text.flatMap(_.split(" "))
      .map((_, 1))
      .keyBy(0)
      .sum(1)
    result.print("result")
    env.execute("StreamWordCount")
//    result> (hello,1)
//    result> (world,1)
//    result> (hello,2)
//    result> (flink,1)
  }

}
相关推荐
WeeJot嵌入式13 分钟前
大数据治理:确保数据的可持续性和价值
大数据
zmd-zk1 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka
激流丶1 小时前
【Kafka 实战】如何解决Kafka Topic数量过多带来的性能问题?
java·大数据·kafka·topic
测试界的酸菜鱼1 小时前
Python 大数据展示屏实例
大数据·开发语言·python
时差9532 小时前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
Mephisto.java2 小时前
【大数据学习 | kafka高级部分】kafka中的选举机制
大数据·学习·kafka
Mephisto.java2 小时前
【大数据学习 | kafka高级部分】kafka的优化参数整理
大数据·sql·oracle·kafka·json·database
道可云2 小时前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
成都古河云2 小时前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
软工菜鸡2 小时前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert