分布式内存计算Spark环境部署与分布式内存计算Flink环境部署

目录

分布式内存计算Spark环境部署

[1. 简介](#1. 简介)

[2. 安装](#2. 安装)

2.1【node1执行】下载并解压

2.2【node1执行】修改配置文件名称

2.3【node1执行】修改配置文件,spark-env.sh

[2.4 【node1执行】修改配置文件,slaves](#2.4 【node1执行】修改配置文件,slaves)

2.5【node1执行】分发

2.6【node2、node3执行】设置软链接

2.7【node1执行】启动Spark集群

[2.8 打开Spark监控页面,浏览器打开:](#2.8 打开Spark监控页面,浏览器打开:)

2.9【node1执行】提交测试任务

分布式内存计算Flink环境部署

[1. 简介](#1. 简介)

[2. 安装](#2. 安装)

2.1【node1操作】下载安装包

[2. 2【node1操作】修改配置文件,conf/flink-conf.yaml](#2. 2【node1操作】修改配置文件,conf/flink-conf.yaml)

[2.3 【node1操作】,修改配置文件,conf/slaves](#2.3 【node1操作】,修改配置文件,conf/slaves)

2.4【node1操作】分发Flink安装包到其它机器

[2.5 【node2、node3操作】](#2.5 【node2、node3操作】)

[2.6 【node1操作】,启动Flink](#2.6 【node1操作】,启动Flink)

[2.7 验证Flink启动](#2.7 验证Flink启动)

[2.8 提交测试任务](#2.8 提交测试任务)


注意:

本小节的操作,基于:大数据集群(Hadoop生态)安装部署环节中所构建的Hadoop集群,如果没有Hadoop集群,请参阅前置内容,部署好环境。

大数据集群(Hadoop生态)安装部署:

大数据集群(Hadoop生态)安装部署_时光の尘的博客-CSDN博客

大数据NoSQL数据库HBase集群部署:

大数据NoSQL数据库HBase集群部署-CSDN博客

分布式内存计算Spark环境部署

1. 简介

Spark是一款分布式内存计算引擎,可以支撑海量数据的分布式计算。

Spark在大数据体系是明星产品,作为最新一代的综合计算引擎,支持离线计算和实时计算。

在大数据领域广泛应用,是目前世界上使用最多的大数据分布式计算引擎。

我们将基于前面构建的Hadoop集群,部署Spark Standalone集群。

2. 安装

2.1【node1执行】下载并解压

复制代码
wget https: / archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz

# 解压
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /export/server/

# 软链接
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

2.2【node1执行】修改配置文件名称

复制代码
# 改名
cd /export/server/spark/conf
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves

2.3【node1执行】修改配置文件,spark-env.sh

复制代码
#设置JAVA安装目录
JAVA_HOME=/export/server/jdk

#HADOOP软件配置文件目录,读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop

#指定spark老大Master的IP和提交任务的通信端口
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

2.4 【node1执行】修改配置文件,slaves

复制代码
node1
node2
node3

2.5【node1执行】分发

复制代码
scp -r spark-2.4.5-bin-hadoop2.7 node2:$PWD
scp -r spark-2.4.5-bin-hadoop2.7 node3:$PWD

2.6【node2、node3执行】设置软链接

复制代码
 ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

2.7【node1执行】启动Spark集群

复制代码
/export/server/spark/sbin/start-all.sh

# 如需停止,可以
/export/server/spark/sbin/stop-all.sh

2.8 打开Spark监控页面,浏览器打开:

http://node1:8081

2.9【node1执行】提交测试任务

复制代码
/export/server/spark/bin/spark-submit --master
spark: / node1:7077 - class
org.apache.spark.examples.SparkPi
/export/server/spark/examples/jars/spark-examples_2.11-2.4.5.jar

分布式内存计算Flink环境部署

1. 简介

Flink同Spark一样,是一款分布式内存计算引擎,可以支撑海量数据的分布式计算。

Flink在大数据体系同样是明星产品,作为最新一代的综合计算引擎,支持离线计算和实时计算。

在大数据领域广泛应用,是目前世界上除去Spark以外,应用最为广泛的分布式计算引擎。

我们将基于前面构建的Hadoop集群,部署Flink Standalone集群

Spark更加偏向于离线计算而Flink更加偏向于实时计算。

2. 安装

2.1【node1操作】下载安装包

复制代码
wget https: / archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz

# 解压
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C
/export/server/

# 软链接
ln -s /export/server/flink-1.10.0
/export/server/flink
复制代码
# jobManager 的IP地址
jobmanager.rpc.address: node1
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m
# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024m
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2

#是否进行预分配内存,默认不进行预分配,这样在我们不使用flink集群时候不会占用集群资源
taskmanager.memory.preallocate: false
# 程序默认并行计算的个数
parallelism.default: 1
#JobManager的Web界面的端口(默认:8081)
jobmanager.web.port: 8081

2.3 【node1操作】,修改配置文件,conf/slaves

复制代码
node1
node2
node3

2.4【node1操作】分发Flink安装包到其它机器

复制代码
cd /export/server
scp -r flink-1.10.0 node2:`pwd`/
scp -r flink-1.10.0 node3:`pwd`/

2.5 【node2、node3操作】

复制代码
# 配置软链接
ln -s /export/server/flink-1.10.0
/export/server/flink
复制代码
/export/server/flink/bin/start-cluster.sh

2.7 验证Flink启动

复制代码
# 浏览器打开
http://node1:8081

2.8 提交测试任务

【node1执行】

复制代码
/export/server/flink/bin/flink run
/export/server/flink-1.10.0/examples/batch/WordCount.jar

更多环境部署:

MySQL5.7版本与8.0版本在CentOS系统安装:

MySQL5.7版本与8.0版本在CentOS系统安装_时光の尘的博客-CSDN博客
MySQL5.7版本与8.0版本在Ubuntu(WSL环境)系统安装:

MySQL5.7版本与8.0版本在Ubuntu(WSL环境)系统安装-CSDN博客
Tomcat在CentOS上的安装部署:

Tomcat在CentOS上的安装部署-CSDN博客
Nginx在CentOS上的安装部署、RabbitMQ在CentOS上安装部署:

Nginx在CentOS上的安装部署、RabbitMQ在CentOS上安装部署-CSDN博客
集群化环境前置准备:

集群化环境前置准备_时光の尘的博客-CSDN博客
Zookeeper集群安装部署、Kafka集群安装部署:

Zookeeper集群安装部署、Kafka集群安装部署_时光の尘的博客-CSDN博客

相关推荐
全星0073 分钟前
解锁研发高效密码:全星研发项目管理APQP软件的多维助力
大数据·汽车
要开心吖ZSH11 分钟前
《Spring 中上下文传递的那些事儿》Part 4:分布式链路追踪 —— Sleuth + Zipkin 实践
java·分布式·spring
幼稚园的山代王1 小时前
RabbitMQ 4.1.1初体验
分布式·rabbitmq·ruby
百锦再1 小时前
RabbitMQ用法的6种核心模式全面解析
分布式·rabbitmq·路由·消息·通道·交换机·代理
一路向北North1 小时前
RabbitMQ简单消息监听和确认
分布式·rabbitmq·ruby
时序数据说2 小时前
为什么时序数据库IoTDB选择Java作为开发语言
java·大数据·开发语言·数据库·物联网·时序数据库·iotdb
Codebee2 小时前
OneCode图表配置速查手册
大数据·前端·数据可视化
Jamie201901063 小时前
高档宠物食品对宠物的健康益处有哪些?
大数据·人工智能
陈敬雷-充电了么-CEO兼CTO3 小时前
推荐算法系统系列>推荐数据仓库集市的ETL数据处理
大数据·数据库·数据仓库·数据挖掘·数据分析·etl·推荐算法
小高不会迪斯科4 小时前
MIT 6.824学习心得(1) 浅谈分布式系统概论与MapReduce
大数据·mapreduce