修炼k8s+flink+hdfs+dlink(一:安装flink)

一:standalone的ha环境部署。

  1. 创建目录,上传安装包。
sql 复制代码
mkdir /opt/app/flink
上传安装包到本目录。
tar -zxvf flink-1.13.6-bin-scala_2.12.tgz
  1. 配置参数。
    在flink-conf.yaml中添加zookeeper配置
sql 复制代码
jobmanager.rpc.address: node01
high-availability: zookeeper
high-availability.storageDir: hdfs://cluster/flink/ha/
high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181
state.backend: filesystem
state.checkpoints.dir: hdfs://cluster/flink-checkpoints
  1. 传送文件夹。
sql 复制代码
scp -r /opt/app/flink/flink-1.13.6 root@node02:/opt/app/flink/flink-1.13.6
scp -r /opt/app/flink/flink-1.13.6 root@node03:/opt/app/flink/flink-1.13.6
  1. 启动。
    在node01,node02节点
    ./bin/jobmanager.sh start
    在node01,node02节点
    ./bin/taskmanager.sh start

jps

查看界面。

http://node01:8081/#/overview

相关推荐
expect7g32 分钟前
Paimon源码解读 -- Compaction-6.CompactStrategy
大数据·后端·flink
Hello.Reader2 小时前
Flink SQL Top-N 深度从“实时榜单”到“少写点数据”
大数据·sql·flink
Hello.Reader7 小时前
Flink SQL Window Top-N窗口榜单的正确打开方式
数据库·sql·flink
Hello.Reader7 小时前
Flink SQL Deduplication用 ROW_NUMBER 做流式去重
大数据·sql·flink
杰克逊的日记7 小时前
k8s某pod节点资源使用率过高,如何调整
linux·docker·kubernetes
古城小栈7 小时前
Go 语言容器感知,自动适配 K8s 资源限制
golang·kubernetes
鹿衔`7 小时前
Apache Doris 4.0.1 集群部署与 Paimon 数据湖集成实战文档
flink·apache·doris·paimon
expect7g21 小时前
Paimon源码解读 -- Compaction-4.KeyValueFileStoreWrite
大数据·flink
expect7g1 天前
Paimon源码解读 -- FULL_COMPACTION_DELTA_COMMITS
大数据·后端·flink