spark与flink的wordcount示例

spark的wordcount示例:

scala 复制代码
package spark

import org.apache.spark._

object TestSparkWordCount {
  def main(args: Array[String]): Unit = {
    val sc = new SparkContext(new SparkConf().setAppName("wordcount").setMaster("local[*]"))
//    hello scala
//    hello spark
    val rdd = sc.textFile("src/main/resources/test.txt")
    val wordCount = rdd.flatMap(line => line.split(" "))
      .map(word => (word, 1))
      .reduceByKey((a, b) => (a + b))
    wordCount.foreach(println)
//    (spark,1)
//    (scala,1)
//    (hello,2)
  }

}

flink的wordcount示例:

scala 复制代码
package com.pinko.testcase

import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.api.scala._
object StreamWordCount {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)
//    hello world
//    hello flink
    val text = env.readTextFile("src/main/resources/output/1.txt")
    val result = text.flatMap(_.split(" "))
      .map((_, 1))
      .keyBy(0)
      .sum(1)
    result.print("result")
    env.execute("StreamWordCount")
//    result> (hello,1)
//    result> (world,1)
//    result> (hello,2)
//    result> (flink,1)
  }

}
相关推荐
MXsoft61821 分钟前
破解多校区高校运维困局,协同效率提升60%的智能运维方案
大数据
StarPrayers.2 小时前
PySpark基础知识(python)
python·数据分析·spark
币须赢2 小时前
英伟达Thor芯片套件9月发货 “物理AI”有哪些?
大数据·人工智能
lily363926046a2 小时前
智联未来 点赋科技
大数据·人工智能
学习中的阿陈3 小时前
Hadoop伪分布式环境配置
大数据·hadoop·分布式
程序员小羊!3 小时前
大数据电商流量分析项目实战:Spark SQL 基础(四)
大数据·sql·spark
TDengine (老段)5 小时前
TDengine 特殊函数 MODE() 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
xiaofan6720136 小时前
大数据与财务管理专业如何转型做金融科技?
大数据·科技·金融
kaomiao20257 小时前
空间信息与数字技术和传统GIS专业有何不同?
大数据·信息可视化·数据分析
IT研究室7 小时前
大数据毕业设计选题推荐-基于大数据的健康与生活方式数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata