Spark入门
1.入门
spark采用Scala语言开发
Spark是用来计算的
Scala掌握:特性,基本操作,集合操作,函数,模式匹配,trait,样例类,actor等内容。
2.内容讲解
2.1 Scala简介
在http://www.scala-lang.org官网查看。
- 特征1:Scala run on the JVM
JDK 开发工具包 敲代码
JRE 运行环境 跑代码
JVM 运行平台 - 特征2:强类型,声明时不需要有类型,根据值去进行类型推断
变量 var name="zx"
常量 val - 特征3:结局concurrency并发 distribution 分布式 async异步编程问题
- 特征4:traits=抽象类+接口
接口里是抽象方法、常量
抽象类里是抽象方法,具体方法,变量,常量 - 特征5:Pattern matchine模式匹配,通过Match关键字。
- 特征6:高阶函数
静态语言:告诉编译器类型,运行无法改变
动态语言:在运行时确定变量类型
2.2 Scala安装
前提安装好java环境
1、 在官网https://www.scala-lang.org/download/2.13.12.html下载解压
2、配置环境变量
此电脑-属性-高级系统设置-环境变量,在系统变量Path中添加scala的bin路径。
3、在cmd中验证
4、下载IDEA
5、新建项目,导入Scala(前提是java环境已经配置好)
新建项目
选择Scala安装包
新建项目成功
点击src,右击new-Scala Class,选择Object。
2.3 Scala基础
2.3.1 数据类型
Byte
Short
Int
Long
Float
Double
Char
Sring
Boolean
Unit 表示无值,相当于void
Null 空值或者空引用
Nothing 所有其他类型的子类型,表示没有值
Any 所有类型的超类
AnyRef 所有引用类型的超类
AnyVal 所有值类型的超类
None 是Option的两个子类之一,另一个是Some,用于安全的函数返回值
Nil表示长度为0的LIst