flink学习(1)——standalone模式的安装

1、上传,解压,重命名,配置环境变量

复制代码
将文件上传到/opt/modules下

cd /opt/modules
tar -zxf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/

mv flink-1.13.6/ flink

vi /etc/profile
export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop


记得source /etc/profile

2、修改配置文件( /opt/installs/flink/conf/)

flink-conf.yaml

复制代码
// 按照下面的进行修改,不存在的添加,存在的修改

jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: true

// 历史服务器  如果HDFS是高可用,则复制core-site.xml、hdfs-site.xml到flink的conf目录下   hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

masters

复制代码
bigdata01:8081

workers

复制代码
bigdata01
bigdata02
bigdata03

3、上传jar包

------由于我们将flink任务的历史日志文件配置到了hdfs上,所以说,flink需要连接到hdfs

复制代码
将资料下的flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下

4、分发文件

复制代码
xsync.sh /opt/installs/flink
xsync.sh /etc/profile

去每一个服务器上刷新配置文件 
source /etc/profile

5、启动

复制代码
#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start------flink历史日志

http://bigdata01:8081 -- Flink集群管理界面 当前有效,重启后里面跑的内容就消失了

能够访问8081是因为你的集群启动着呢

http://bigdata01:8082 -- Flink历史服务器管理界面,及时服务重启,运行过的服务都还在

能够访问8082是因为你的历史服务启动着

相关推荐
ssxueyi3 分钟前
StarRocks 证书SRCA和SRCP
大数据·数据库·证书·考试·starrocks认证
生信碱移11 分钟前
简单方法胜过大语言模型?!单细胞扰动敲除方法的实验
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·数据分析
申尧强3 小时前
Flink Credit-based机制解析
java·网络·flink
office大师姐5 小时前
迈向云数据领域的第一步:Microsoft Azure DP-900认证指南
大数据·windows·microsoft·微软·azure
MXsoft6185 小时前
监控易一体化运维:监控易机房管理,打造高效智能机房
大数据·数据库
qq_5470261796 小时前
Elasticsearch DSL查询语法
大数据·elasticsearch·jenkins
你觉得2057 小时前
山东大学:《DeepSeek应用与部署》|附PPT下载方法
大数据·人工智能·python·机器学习·ai·aigc·内容运营
Haibakeji8 小时前
海拔案例分享-新华书店新零售系统开发解决方案
大数据·运维
Aloudata10 小时前
平安证券 NoETL 指标平台实践:统一数据口径,驱动高效经营分析与智能决策
大数据·人工智能·数据分析·指标平台·noetl·chat bi
昨天今天明天好多天10 小时前
【Apache Hive】
hive·hadoop·apache