spark与flink的wordcount示例

spark的wordcount示例:

scala 复制代码
package spark

import org.apache.spark._

object TestSparkWordCount {
  def main(args: Array[String]): Unit = {
    val sc = new SparkContext(new SparkConf().setAppName("wordcount").setMaster("local[*]"))
//    hello scala
//    hello spark
    val rdd = sc.textFile("src/main/resources/test.txt")
    val wordCount = rdd.flatMap(line => line.split(" "))
      .map(word => (word, 1))
      .reduceByKey((a, b) => (a + b))
    wordCount.foreach(println)
//    (spark,1)
//    (scala,1)
//    (hello,2)
  }

}

flink的wordcount示例:

scala 复制代码
package com.pinko.testcase

import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.api.scala._
object StreamWordCount {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)
//    hello world
//    hello flink
    val text = env.readTextFile("src/main/resources/output/1.txt")
    val result = text.flatMap(_.split(" "))
      .map((_, 1))
      .keyBy(0)
      .sum(1)
    result.print("result")
    env.execute("StreamWordCount")
//    result> (hello,1)
//    result> (world,1)
//    result> (hello,2)
//    result> (flink,1)
  }

}
相关推荐
玖米GEO运营王总监29 分钟前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
龙腾AI白云2 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy19905 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天15 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界19 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天20 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城21 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55521 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证21 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读1 天前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习