技术栈
头歌实训
撕得失败的标签
1 年前
大数据
·
分布式
·
spark
·
头歌实训
【头歌实训】Spark 完全分布式的安装和部署
掌握 Standalone 分布式集群搭建。我们已经掌握了 Spark 单机版安装,那么分布式集群怎么搭建呢? 接下来我们学习 Standalone 分布式集群搭建。
撕得失败的标签
1 年前
分布式
·
kafka
·
linq
·
头歌实训
【头歌实训】kafka-入门篇
本关任务:使用 Kafka 命令创建一个副本数量为1、分区数量为3的 Topic 。为了完成本关任务,你需要掌握:1.如何使用 Kafka 的常用命令。
撕得失败的标签
1 年前
pyspark
·
头歌实训
·
streaming
【头歌实训】PySpark Streaming 入门
本关任务:使用 Spark Streaming 实现词频统计。为了完成本关任务,你需要掌握:Spark Streaming 是 Spark 的核心组件之一,为 Spark 提供了可拓展、高吞吐、容错的流计算能力。如下图所示,Spark Streaming 可整合多种输入数据源,如 Kafka、Flume、HDFS,甚至是普通的 TCP 套接字。经处理后的数据可存储至文件系统、数据库,或显示在仪表盘里。
撕得失败的标签
1 年前
mysql
·
kafka
·
pyspark
·
头歌实训
·
streaming
【头歌实训】PySpark Streaming 数据源
本关任务:读取套接字流数据,完成词频统计,将结果写入 Mysql 中。为了完成本关任务,你需要掌握:在 PySpark 中支持通过 JDBC 的方式连接到其他数据库获取数据生成 DataFrame,当然也同样可以使用 Spark SQL 去读写数据库。除了 JDBC 数据源外,还支持 Parquet、JSON、Hive 等数据源。
撕得失败的标签
1 年前
开发语言
·
python
·
spark-ml
·
头歌实训
【头歌实训】Spark MLlib ( Python 版 )
根据提示,在右侧编辑器补充代码,计算所给数据的 pearson 相关系数和 spearman 相关系数。
撕得失败的标签
1 年前
分布式
·
spark
·
wpf
·
头歌实训
【头歌实训】Spark 完全分布式的安装和部署(新)
掌握 Standalone 分布式集群搭建。我们已经掌握了 Spark 单机版安装,那么分布式集群怎么搭建呢? 接下来我们学习 Standalone 分布式集群搭建。