spark复习

第一章

1.​大数据特点:4V

2.​大数据计算模式

3.​hadoop生态系统

4.​spark提供了内存计算和基于DAG的任务调度机制,遵循一个软件栈满足不同应用场景的理念。

5.​hadoop中MapReduce计算框架的缺点,对应的spark的优点

第二章

1.​spark生态系统

2.​spark的应用场景

3.​RDD,DAG,Executor,应用,阶段的概念

4.​spark架构设计

5.​spark运行基本流程

6.​RDD是一个分布式对象集合,本质上是一个只读的分区记录集合。提供了一种高度受限的共享内存模型,不能直接修改。RDD提供一组丰富的操作分为行动和转换两种类型,前者用于执行计算并指定输出的形式,后者指定RDD之间的依赖关系。

7.​RDD采用惰性调用,真正的计算发生在行动操作,通过血缘关系连接起来的一系列RDD操作可以实现管道化Pipeline

8.​RDD特性(*)

9.​宽依赖与窄依赖的区别:是否包含shuffle操作

10.​窄依赖:map,filter,union

11.​宽依赖:groupByKey

12.​spark中,对窄依赖合并过程被称为流水线优化

13.​RDD阶段的划分(简答)

14.​spark部署方式:Spark on Mesos(URL是Mesos://ip:port),Spark on YARN ,Standalone

第四章

第五章

1.Spark SQL架构

第六章

1.流计算和批量计算过一遍(有印象就行)

2.​Spark Streaming的基本原理

3.​Spark Streaming最主要的抽象是Dstream

4.​Spark Streaming中有一个组件Receiver,作为长期运行的任务在一个Executor上执行,每个Receiver负责一个DStream输入流

5.​编写Spark Streaming基本步骤

6.​RDD编程中需要生成一个SparkContext对象,在Spark SQL编程中需要生成一个SparkSession对象,在Spark Streaming中需要生成一个StreamingContext对象

7.​Socket工作原理(填空accept)

8.​Kafka分布式发布订阅消息系统,相关概念:Broker,Topic,Producer,Consumer,Partition

9.​DStream无状态转换操作和有状态转换操作区别

第七章

1.Structured Streaming关键思想

2.​Structured Streaming的两种处理模型区别

3.​Structured Streaming,Spark SQL,Spark Streaming区别

第八章

1.机器学习三个关键词:算法,经验,性能

2.​模型是用数据对算法进行训练得到的

3.​常用学习算法:分类,回归,聚类,协同过滤

4.​流水线包括一些概念:DataFrame,转换器实现了transform()方法,评估器,流水线,参数

5.​构建一个机器学习流水线,首先要定义流水线中各个PipelineStage,称为工作流阶段,包括转换器和评估器,之后就可以按照具体的处理逻辑,有序组织PipelineStage并创建一个流水线。构建好后,就可以把训练数据集作为输入参数,调用流水线实例的fit()方法,以流的方式来处理原训练数据。该调用返回一个PipelineModel类的实例,用来预测测试数据的标签。

6.​TF-IDF的含义

相关推荐
阿蒙Amon31 分钟前
【Python小工具】使用 OpenCV 获取视频时长的详细指南
python·opencv·音视频
橘子编程1 小时前
Python-Word文档、PPT、PDF以及Pillow处理图像详解
开发语言·python
蓝婷儿2 小时前
Python 机器学习核心入门与实战进阶 Day 2 - KNN(K-近邻算法)分类实战与调参
python·机器学习·近邻算法
之歆2 小时前
Python-封装和解构-set及操作-字典及操作-解析式生成器-内建函数迭代器-学习笔记
笔记·python·学习
天天爱吃肉82183 小时前
ZigBee通信技术全解析:从协议栈到底层实现,全方位解读物联网核心无线技术
python·嵌入式硬件·物联网·servlet
Allen_LVyingbo4 小时前
Python常用医疗AI库以及案例解析(2025年版、上)
开发语言·人工智能·python·学习·健康医疗
智能砖头4 小时前
LangChain 与 LlamaIndex 深度对比与选型指南
人工智能·python
风逸hhh5 小时前
python打卡day58@浙大疏锦行
开发语言·python
烛阴6 小时前
一文搞懂 Python 闭包:让你的代码瞬间“高级”起来!
前端·python
JosieBook6 小时前
【Java编程动手学】Java中的数组与集合
java·开发语言·python