spark与flink的wordcount示例

spark的wordcount示例:

scala 复制代码
package spark

import org.apache.spark._

object TestSparkWordCount {
  def main(args: Array[String]): Unit = {
    val sc = new SparkContext(new SparkConf().setAppName("wordcount").setMaster("local[*]"))
//    hello scala
//    hello spark
    val rdd = sc.textFile("src/main/resources/test.txt")
    val wordCount = rdd.flatMap(line => line.split(" "))
      .map(word => (word, 1))
      .reduceByKey((a, b) => (a + b))
    wordCount.foreach(println)
//    (spark,1)
//    (scala,1)
//    (hello,2)
  }

}

flink的wordcount示例:

scala 复制代码
package com.pinko.testcase

import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.api.scala._
object StreamWordCount {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)
//    hello world
//    hello flink
    val text = env.readTextFile("src/main/resources/output/1.txt")
    val result = text.flatMap(_.split(" "))
      .map((_, 1))
      .keyBy(0)
      .sum(1)
    result.print("result")
    env.execute("StreamWordCount")
//    result> (hello,1)
//    result> (world,1)
//    result> (hello,2)
//    result> (flink,1)
  }

}
相关推荐
白雪讲堂1 小时前
AI搜索品牌曝光资料包(精准适配文心一言/Kimi/DeepSeek等场景)
大数据·人工智能·搜索引擎·ai·文心一言·deepseek
浩浩kids2 小时前
Hadoop•踩过的SHIT
大数据·hadoop·分布式
qr9j422332 小时前
elasticsearch 如果按照日期进行筛选
大数据·elasticsearch·jenkins
DavidSoCool2 小时前
es分页边界数据重复问题处理
大数据·elasticsearch·搜索引擎
路由侠内网穿透3 小时前
本地部署开源流处理框架 Apache Flink 并实现外部访问
大数据·网络协议·tcp/ip·flink·服务发现·apache·consul
qq_5470261794 小时前
Elasticsearch 正排索引
大数据·elasticsearch·jenkins
宝哥大数据5 小时前
Flinksql--订单宽表
大数据·flink
jinan8867 小时前
企业的移动终端安全怎么管理?
大数据·网络·安全·数据分析·开源软件
叶辰 .8 小时前
ES使用聚合aggregations实战(2025.04.02更新)
大数据·elasticsearch·jenkins
zxsz_com_cn8 小时前
风电行业预测性维护解决方案:AIoT驱动下的风机健康管理革命
大数据·运维·人工智能