配置kafka与spark连接

一、配置kafka

首先进到software目录当中,如下图所示:

安装包上传/解压/重命名/解压过后的目录如下图所示:

修改配置:

· cd config

· v i server.properties

全部修改语句如下所示(以node01为样例):

|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| broker.id=0 从0 开始 ,0 1 2 delete.topic.enable=true //这条在文件中没有,手动添加,默认主题不允许删除 listeners=PLAINTEXT://node01:9092 log.dirs=/root/kafkadata // 数据存放的目录,会自动生成,不需要创建 num.partitions=3 zookeeper.connect=node01:2181,node02:2181,node03:2181 |

返回到software目录里面:

分发kafka的安装包,到其他的节点中:

|---------------------------------------------------|
| scp -r kafka node02:PWD scp -r kafka node03:PWD |

在其他的节点上,修改broker.id 和 listeners中的主机名。

启动kafka集群

启动脚本和停止脚本命令。

kafka-server-start.sh

kafka-server-stop.sh

以后台守护进程启动:

kafka-server-start.sh -daemon /opt/software/kafka/config/server.properties

注意: 在启动kafka之前,必须先启动zookeeper。

bin/zkServer.sh start

Kafka.sh:一键启动和关闭kafka集群。

①添加一个kafka环境变量

②node02、node03也进行相同的配置

③进入到当前目录并把kafka.sh也上传进来

④修改一下权限,让它变成绿色的可执行脚本文件

⑤路径和主机名称修改为和自己一致的

⑥试一下一键启动

安装部署Spark

解压缩文件,并重命名为spark-yarn。

tar zxvf spark-3.0.0-bin-hadoop3.2.tgz

mv spark-3.0.0-bin-hadoop3.2 spark-yarn

  1. 修改配置文件

1)修改hadoop配置文件/opt/software/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml,并分发给其他节点。

是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是 true

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是 true

<property>

<name>yarn.nodemanager.pmem-check-enabled</name>

<value>false</value>

</property>

2)返回到spark-yarn目录,修改conf/spark-env.sh,添加 JAVA_HOME 和 YARN_CONF_DIR 配置。

mv spark-env.sh.template spark-env.sh

v i spark-env.sh

3)启动HDFS以及Yarn集群

4)提交测试应用

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master yarn \

--deploy-mode cluster \

./examples/jars/spark-examples_2.12-3.0.0.jar \

1 0

查看node01:8088页面

配置历史服务

由于 spark-shell 停止掉后,集群监控 node01:4040 页面就看不到历史任务的运行情况,所以 开发时都配置历史服务器记录任务运行情况。

1)修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2)修改 spark-default.conf 文件,配置日志存储路径

注意: 需要启动 hadoop 集群,HDFS 上的 directory 目录需要提前存在。

h d fs dfs -mkdir /directory

3)修改 spark-env.sh 文件, 添加日志配置

export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080

-Dspark.history.fs.logDirectory=hdfs://node01:9000/directory

-Dspark.history.retainedApplications=30"

4)开启历史服务,并且重新提交应用

sbin /start-history-server.sh

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master yarn \

--deploy-mode cluster \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10

相关推荐
Aurora_NeAr9 小时前
Spark SQL架构及高级用法
大数据·后端·spark
百度Geek说2 天前
搜索数据建设系列之数据架构重构
数据仓库·重构·架构·spark·dubbo
大数据CLUB2 天前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化
Cachel wood11 天前
Spark教程6:Spark 底层执行原理详解
大数据·数据库·分布式·计算机网络·spark
大数据CLUB12 天前
基于pyspark的北京历史天气数据分析及可视化_离线
大数据·hadoop·数据挖掘·数据分析·spark
Cachel wood12 天前
Spark教程1:Spark基础介绍
大数据·数据库·数据仓库·分布式·计算机网络·spark
张昕玥2023032211912 天前
Spark应用开发--WordCount实战
大数据·spark
阳光下是个孩子12 天前
基于 Spark 实现 COS 海量数据处理
大数据·分布式·spark
GawynKing12 天前
Apache SeaTunnel Spark引擎执行流程源码分析
spark·源码·seatunnel
heart000_112 天前
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
大数据·分布式·spark