修炼k8s+flink+hdfs+dlink(一:安装flink)

一:standalone的ha环境部署。

  1. 创建目录,上传安装包。
sql 复制代码
mkdir /opt/app/flink
上传安装包到本目录。
tar -zxvf flink-1.13.6-bin-scala_2.12.tgz
  1. 配置参数。
    在flink-conf.yaml中添加zookeeper配置
sql 复制代码
jobmanager.rpc.address: node01
high-availability: zookeeper
high-availability.storageDir: hdfs://cluster/flink/ha/
high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181
state.backend: filesystem
state.checkpoints.dir: hdfs://cluster/flink-checkpoints
  1. 传送文件夹。
sql 复制代码
scp -r /opt/app/flink/flink-1.13.6 root@node02:/opt/app/flink/flink-1.13.6
scp -r /opt/app/flink/flink-1.13.6 root@node03:/opt/app/flink/flink-1.13.6
  1. 启动。
    在node01,node02节点
    ./bin/jobmanager.sh start
    在node01,node02节点
    ./bin/taskmanager.sh start

jps

查看界面。

http://node01:8081/#/overview

相关推荐
Patrick_Wilson8 小时前
写给前端的 K8s 入门:用一张图和一个例子搞懂 5 个核心概念
云原生·kubernetes·devops
Volunteer Technology9 小时前
集群基础环境搭建(二)
大数据·flink·apache
云游牧者11 小时前
K8S-Helm包管理全解-从入门到Chart开发实战指南
云原生·容器·kubernetes·helm·chart模板
codeejun12 小时前
每日一Go-66、K8s 蓝绿发布 & 金丝雀发布实战:Service 切流量 + Ingress 灰度一次讲透
开发语言·golang·kubernetes
口喜口喜12 小时前
K3s 安装笔记(CentOS 7.9)
kubernetes
zhojiew13 小时前
使用Debezium读取CDC事件并通过Flink任务写入Paimon表来构建实时数据管道的实践
大数据·flink
岳麓丹枫00115 小时前
PostgreSQL 15.7 CDC → Flink → Kafka 操作笔记
postgresql·flink·kafka
Cat_Rocky15 小时前
k8s 监控平台 Prometheus简单学习
学习·kubernetes·prometheus
zhojiew15 小时前
使用Flink分析用户Clickstream数据并构建可视化面板的数据管道实践
大数据·flink
杰克逊的日记15 小时前
k8s的两种网络转发规则及原理
网络·容器·kubernetes