修炼k8s+flink+hdfs+dlink(一:安装flink)

一:standalone的ha环境部署。

  1. 创建目录,上传安装包。
sql 复制代码
mkdir /opt/app/flink
上传安装包到本目录。
tar -zxvf flink-1.13.6-bin-scala_2.12.tgz
  1. 配置参数。
    在flink-conf.yaml中添加zookeeper配置
sql 复制代码
jobmanager.rpc.address: node01
high-availability: zookeeper
high-availability.storageDir: hdfs://cluster/flink/ha/
high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181
state.backend: filesystem
state.checkpoints.dir: hdfs://cluster/flink-checkpoints
  1. 传送文件夹。
sql 复制代码
scp -r /opt/app/flink/flink-1.13.6 root@node02:/opt/app/flink/flink-1.13.6
scp -r /opt/app/flink/flink-1.13.6 root@node03:/opt/app/flink/flink-1.13.6
  1. 启动。
    在node01,node02节点
    ./bin/jobmanager.sh start
    在node01,node02节点
    ./bin/taskmanager.sh start

jps

查看界面。

http://node01:8081/#/overview

相关推荐
渣渣盟3 小时前
Flink 流处理那些事儿:状态、时间与容错
大数据·flink
Justice Young7 小时前
Flink测试题目及知识点整理(一)
大数据·flink
gwjcloud7 小时前
Kubernetes从入门到精通(进阶篇)03
云原生·容器·kubernetes
渣渣盟7 小时前
构建企业级实时数据管道:Kafka + Flink 最佳实践
分布式·flink·kafka
小义_9 小时前
【Kubernetes】(十二)配置存储卷
云原生·容器·kubernetes
运维全栈笔记1 天前
K8S部署Redis高可用全攻略:1主2从3哨兵架构实战
redis·docker·云原生·容器·架构·kubernetes·bootstrap
尘世壹俗人1 天前
使用K8s部署模型
kubernetes
AI木马人1 天前
9.人工智能实战:GPU 服务如何上 Kubernetes?从单机部署到 K8s + NVIDIA Device Plugin + HPA 的生产级改造
人工智能·容器·kubernetes
码点滴1 天前
告别显存焦虑:PagedAttention 如何将大模型吞吐量提升 4 倍?
人工智能·架构·kubernetes·大模型·pagedattention