【hadoop】Flink安装部署

一、单机模式

步骤:

1、使用XFTP将Flink安装包flink-1.13.5-bin-scala_2.11.tgz发送到master机器的主目录。

2、解压安装包:

复制代码
tar -zxvf ~/flink-1.13.5-bin-scala_2.11.tgz

3、修改文件夹的名字,将其改为flume,或者创建软连接也可:

复制代码
mv ~/flink-1.13.5 ~/flink

4、配置环境变量:

复制代码
vim ~/.bashrc

然后在文件末尾添加以下内容:

复制代码
export FLINK_HOME=/home/hadoop/flink

export PATH=$FLINK_HOME/bin:$PATH

保存文件,然后刷新环境变量或重新启动命令行终端:

复制代码
source ~/.bashrc

5、可以使用以下命令开启一个Flink的Scala控制台:

复制代码
start-scala-shell.sh local

步骤:

1、使用vim命令配置Flink的flink-conf.yaml配置文件:

复制代码
cd ~/flink/conf

vim flink-conf.yaml

配置内容如下(注意:这里仅展示其中要修改的参数,其余参数配置保持不变):

复制代码
jobmanager.rpc.address: master

jobmanager.rpc.port: 6123

jobmanager.memory.process.size: 1600m

taskmanager.memory.process.size: 1728m

taskmanager.numberOfTaskSlots: 3

parallelism.default: 3

high-availability: zookeeper

high-availability.zookeeper.quorum: master:2181,slave1:2181,slave2:2181

high-availability.cluster-id: /cluster_one

high-availability.zookeeper.path.root: /flink

high-availability.storageDir: hdfs://mycluster/flink/ha/

2、配置workers:

复制代码
vim workers

修改为以下内容:

复制代码
master
slave1
slave2

3、配置masters,为节省资源,我们只在master启动主节点即可,如需启动备用节点,则需要在此处添加其他节点以作为备用节点:

复制代码
vim masters

修改为以下内容:

复制代码
master:8088

可指定端口,可访问web

4、添加Hadoop依赖包,若打算使Flink与Hadoop能够协同工作,比如后续在YARN上运行Flink、使用Flink连接到HDFS、HBase等,那么就需要将Flink对应Hadoop版本的shaded包,放到Flink安装目录的lib文件夹内,或者添加到Hadoop的环境变量中,这里使用第一种方法进行配置:

使用XFTP将 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 放到 ~/flink/lib文件夹内

5、接着把配置好的Flink安装目录使用scp命令发送到其他节点:

复制代码
scp -r ~/flink hadoop@slave1:~

scp -r ~/flink hadoop@slave2:~

6、(如第3步中配置了其他备用主节点,则需要做这步,只配置了一个master的话,这一步可以跳过)在备用主节点slave1上修改flink-conf.yaml,将其中的jobmanager.rpc.address一项修改为

复制代码
slave1:

cd ~/flink/conf

vim flink-conf.yaml

修改内容如下:

复制代码
jobmanager.rpc.address: slave1

7、依次启动ZooKeeper、HDFS、YARN集群,以启动Hadoop;

8、在master节点上,启动Flink Standalone集群:

复制代码
start-cluster.sh

要使用Flink on YARN只需要修改环境变量,让Flink可以从系统环境变量中读取到Hadoop的配置信息即可:

复制代码
vim ~/.bashrc

然后在末尾添加Hadoop配置文件夹的目录环境:

复制代码
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

然后刷新环境变量:

复制代码
source ~/.bashrc

后续就可以使用 yarn-session.sh 启动 yarn session 来运行Flink任务,或者使用 flink run 命令直接将Flink任务提交到YARN上运行。

相关推荐
渣渣盟1 天前
Flink + Kafka 数据写入实战:从API调用到端到端一致性精讲
flink·kafka·linq
TDengine (老段)5 天前
TDengine 第三方工具 — Telegraf、Kafka Connect、Flink、Spark
大数据·数据库·物联网·flink·kafka·时序数据库·tdengine
头茬韭菜6 天前
第 4 篇:「Fluss + Flink 集成实战」—— Catalog、Source 与 Sink
大数据·python·flink·fluss
阿里云大数据AI技术8 天前
官宣|Apache Fluss 毕业成为顶级项目,湖流一体开启 Agentic Lake 全面实时化时代
人工智能·flink
Blossom i8 天前
分布式编程实验二:Flink安装与编程实践(头歌云客)
大数据·分布式·flink
渣渣盟9 天前
当反压问题解决后,如何进一步优化 Flink 作业的 Checkpoint 性能,让大状态作业也能稳定运行?
大数据·flink
渣渣盟9 天前
当 Redis 写入不再是瓶颈后,Flink 任务的反压可能来自哪里?如何系统性地定位和解决 Flink 反压问题?
数据库·redis·flink
渣渣盟9 天前
当 Redis 集群发生主从切换(Failover)时,Flink 任务会崩溃吗?如何利用 Sentinel 实现高可用?
redis·flink·sentinel
渣渣盟9 天前
当 Checkpoint 稳定运行后,如何进一步优化 Flink 作业的启动和恢复速度,让大状态作业的扩缩容从“小时级”降到“分钟级”?
大数据·flink
ZCBUS实时计算10 天前
金融证券实时数仓建设实践:轻量化实时计算平台落地,实现交易数据端到端秒级处理
大数据·数据库·数据仓库·金融·flink·dba·etl