修炼k8s+flink+hdfs+dlink(一:安装flink)

一:standalone的ha环境部署。

  1. 创建目录,上传安装包。
sql 复制代码
mkdir /opt/app/flink
上传安装包到本目录。
tar -zxvf flink-1.13.6-bin-scala_2.12.tgz
  1. 配置参数。
    在flink-conf.yaml中添加zookeeper配置
sql 复制代码
jobmanager.rpc.address: node01
high-availability: zookeeper
high-availability.storageDir: hdfs://cluster/flink/ha/
high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181
state.backend: filesystem
state.checkpoints.dir: hdfs://cluster/flink-checkpoints
  1. 传送文件夹。
sql 复制代码
scp -r /opt/app/flink/flink-1.13.6 root@node02:/opt/app/flink/flink-1.13.6
scp -r /opt/app/flink/flink-1.13.6 root@node03:/opt/app/flink/flink-1.13.6
  1. 启动。
    在node01,node02节点
    ./bin/jobmanager.sh start
    在node01,node02节点
    ./bin/taskmanager.sh start

jps

查看界面。

http://node01:8081/#/overview

相关推荐
A ?Charis30 分钟前
Gitlab-runner running on Kubernetes - hostAliases
容器·kubernetes·gitlab
油头少年_w1 小时前
大数据导论及分布式存储HadoopHDFS入门
大数据·hadoop·hdfs
北漂IT民工_程序员_ZG2 小时前
k8s集群安装(minikube)
云原生·容器·kubernetes
2301_806131368 小时前
Kubernetes的基本构建块和最小可调度单元pod-0
云原生·容器·kubernetes
SilentCodeY9 小时前
containerd配置私有仓库registry
容器·kubernetes·containerd·镜像·crictl
bigdata-余建新11 小时前
HDFS和HBase跨集群数据迁移 源码
hadoop·hdfs·hbase
晨航13 小时前
Flink本地模式安装详解
大数据·flink
sf_www13 小时前
flink 内存配置(五):网络缓存调优
大数据·网络·flink
binqian15 小时前
【k8s】ClusterIP能http访问,但是不能ping 的原因
http·容器·kubernetes
探索云原生16 小时前
GPU 环境搭建指南:如何在裸机、Docker、K8s 等环境中使用 GPU
ai·云原生·kubernetes·go·gpu