头歌实训

撕得失败的标签6 个月前
大数据·分布式·spark·头歌实训
【头歌实训】Spark 完全分布式的安装和部署掌握 Standalone 分布式集群搭建。我们已经掌握了 Spark 单机版安装,那么分布式集群怎么搭建呢? 接下来我们学习 Standalone 分布式集群搭建。
撕得失败的标签6 个月前
分布式·kafka·linq·头歌实训
【头歌实训】kafka-入门篇本关任务:使用 Kafka 命令创建一个副本数量为1、分区数量为3的 Topic 。为了完成本关任务,你需要掌握:1.如何使用 Kafka 的常用命令。
撕得失败的标签6 个月前
pyspark·头歌实训·streaming
【头歌实训】PySpark Streaming 入门本关任务:使用 Spark Streaming 实现词频统计。为了完成本关任务,你需要掌握:Spark Streaming 是 Spark 的核心组件之一,为 Spark 提供了可拓展、高吞吐、容错的流计算能力。如下图所示,Spark Streaming 可整合多种输入数据源,如 Kafka、Flume、HDFS,甚至是普通的 TCP 套接字。经处理后的数据可存储至文件系统、数据库,或显示在仪表盘里。
撕得失败的标签6 个月前
mysql·kafka·pyspark·头歌实训·streaming
【头歌实训】PySpark Streaming 数据源本关任务:读取套接字流数据,完成词频统计,将结果写入 Mysql 中。为了完成本关任务,你需要掌握:在 PySpark 中支持通过 JDBC 的方式连接到其他数据库获取数据生成 DataFrame,当然也同样可以使用 Spark SQL 去读写数据库。除了 JDBC 数据源外,还支持 Parquet、JSON、Hive 等数据源。
撕得失败的标签6 个月前
开发语言·python·spark-ml·头歌实训
【头歌实训】Spark MLlib ( Python 版 )根据提示,在右侧编辑器补充代码,计算所给数据的 pearson 相关系数和 spearman 相关系数。
撕得失败的标签6 个月前
分布式·spark·wpf·头歌实训
【头歌实训】Spark 完全分布式的安装和部署(新)掌握 Standalone 分布式集群搭建。我们已经掌握了 Spark 单机版安装,那么分布式集群怎么搭建呢? 接下来我们学习 Standalone 分布式集群搭建。