2023_Spark_实验十九:SparkStreaming入门案例

SparkStreaming入门案例

一、准备工作
二、任务分析
三、官网案例
四、开发NetWordCount

一、准备工作


  • 实验环境:netcat
  • 安装nc:yum install -y nc

二、任务分析


将nc作为服务器端,用户产生数据;启动sparkstreaming案例中的客户端程序,监听服务器端发送过来的数据,并对其数据进行词频统计,即为流式的wordcount入门程序

三、官网案例


启动nc作为服务器端,执行:nc -l 1234,并输入测试数据,如图所示:

  • 启动客户端,执行:
    bin/run-example streaming.NetworkWordCount localhost 1234

注意):如果要执行本例,必须确保机器 cpu 核数大于 2

四、开发NetWordCount

  1. 创建maven工程
  2. 添加maven依赖,即在pom.xml中添加streamming的依赖,如下(如果之前实验已经添加,就不用再添加,如果之前未添加,则需要添加该依赖)
XML 复制代码
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.12</artifactId>
<version>2.1.1</version>
</dependency>

3.开发NetWordCount程序

Scala 复制代码
import org.apache.spark.SparkConf
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}

object StreamingTest {
def main(args: Array[String]): Unit = {
val sparkConf = newSparkConf().setMaster("local[2]").setAppName("StreamingTest")
val streamingContext = new StreamingContext(sparkConf, Seconds(5))

// 创建DStream对象,并链接到nc服务器端
val ris: ReceiverInputDStream[String] = streamingContext.socketTextStream("192.168.245.110", 1234,StorageLevel.MEMORY_AND_DISK)
// 采集数据,并处理数据
val ds: DStream[String] = ris.flatMap(_.split(" "))
println(ris)
// 统计单词
val resultDS: DStream[(String, Int)] = ds.map(x => (x, 1)).reduceByKey(_ + _)
// 打印结果
resultDS.print()
// 启动实时计算
streamingContext.start()
// 等待计算结束
streamingContext.awaitTermination()
}
}

4.先在虚拟机上启动nc服务器:nc -l 1234,并输入测试数据,如图
5.然后运行程序
6.运行结果如下

参考:
https://www.shuzhiduo.com/A/gVdneZLa5W/

相关推荐
kakwooi38 分钟前
Hadoop---MapReduce(3)
大数据·hadoop·mapreduce
数新网络38 分钟前
《深入浅出Apache Spark》系列②:Spark SQL原理精髓全解析
大数据·sql·spark
P.H. Infinity4 小时前
【RabbitMQ】03-交换机
分布式·rabbitmq
龙哥·三年风水6 小时前
群控系统服务端开发模式-应用开发-个人资料
分布式·php·群控系统
昨天今天明天好多天6 小时前
【数据仓库】
大数据
油头少年_w6 小时前
大数据导论及分布式存储HadoopHDFS入门
大数据·hadoop·hdfs
Elastic 中国社区官方博客7 小时前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理
力姆泰克7 小时前
看电动缸是如何提高农机的自动化水平
大数据·运维·服务器·数据库·人工智能·自动化·1024程序员节
力姆泰克7 小时前
力姆泰克电动缸助力农业机械装备,提高农机的自动化水平
大数据·服务器·数据库·人工智能·1024程序员节
QYR市场调研8 小时前
自动化研磨领域的革新者:半自动与自动自磨机的技术突破
大数据·人工智能