修炼k8s+flink+hdfs+dlink(一:安装flink)

一:standalone的ha环境部署。

  1. 创建目录,上传安装包。
sql 复制代码
mkdir /opt/app/flink
上传安装包到本目录。
tar -zxvf flink-1.13.6-bin-scala_2.12.tgz
  1. 配置参数。
    在flink-conf.yaml中添加zookeeper配置
sql 复制代码
jobmanager.rpc.address: node01
high-availability: zookeeper
high-availability.storageDir: hdfs://cluster/flink/ha/
high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181
state.backend: filesystem
state.checkpoints.dir: hdfs://cluster/flink-checkpoints
  1. 传送文件夹。
sql 复制代码
scp -r /opt/app/flink/flink-1.13.6 root@node02:/opt/app/flink/flink-1.13.6
scp -r /opt/app/flink/flink-1.13.6 root@node03:/opt/app/flink/flink-1.13.6
  1. 启动。
    在node01,node02节点
    ./bin/jobmanager.sh start
    在node01,node02节点
    ./bin/taskmanager.sh start

jps

查看界面。

http://node01:8081/#/overview

相关推荐
Hadoop_Liang3 小时前
使用Kubernetes Gateway API实现域名访问应用
容器·kubernetes·gateway
Justice Young5 小时前
Flink第六章:flink中的时间和窗口
大数据·flink
java_cj6 小时前
深入kubectl create源码:从YAML到Pod的完整链路拆解
运维·云原生·容器·kubernetes
makise-10 小时前
破译大数据底层密码:从 HDFS 存储基石到现代分布式计算引擎的架构演进
大数据·hdfs·架构
Volunteer Technology14 小时前
Flink状态管理与容错(一)
大数据·数据库·flink
Volunteer Technology15 小时前
Flink 时间、窗口及操作(一)
大数据·flink
万能的知了16 小时前
K8s到底需不需要GPU节点?集群资源分配的底层逻辑
云原生·容器·kubernetes
卧室小白17 小时前
K8S基础-控制器&deploy&pod回滚更新&service
docker·容器·kubernetes
Volunteer Technology17 小时前
Flink 时间、窗口及操作(三)
大数据·flink
OceanBase数据库官方博客17 小时前
OceanBase × Flink 数据集成系列——旁路导入连接器的批量写入能力
架构·kubernetes·oceanbase