【Flink】Standalone运行模式

独立模式是独立运行的,不依赖任何外部的资源管理平台;当然独立也是有代价的:如果资源不足,或者出现故障,没有自动扩展或重分配资源的保证,必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景下。

1、会话模式部署

提前启动集群,并通过Web页面客户端提交任务(可以多个任务,但是集群资源固定)。

2、单作业模式部署

Flink的Standalone集群并不支持单作业模式部署。因为单作业模式需要借助一些资源管理平台。

3、应用模式部署

应用模式下不会提前创建集群,所以不能调用start-cluster.sh脚本。我们可以使用同样在bin目录下的standalone-job.sh来创建一个JobManager。

具体步骤如下:

(0)环境准备。在hadoop102中执行以下命令启动netcat。

bash 复制代码
[root@hadoop102 flink-1.17.0]$ nc -lk 7777

(1)进入到Flink的安装路径下,将应用程序的jar包放到lib/目录下。

bash 复制代码
[root@hadoop102 flink-1.17.0]$ mv FlinkTutorial-1.0-SNAPSHOT.jar lib/

(2)执行以下命令,启动JobManager。

bash 复制代码
[root@hadoop102 flink-1.17.0]$ bin/standalone-job.sh start --job-classname com.example.wc.SocketStreamWordCount

这里我们直接指定作业入口类,脚本会到lib目录扫描所有的jar包。

(3)同样是使用bin目录下的脚本,启动TaskManager。

bash 复制代码
[root@hadoop102 flink-1.17.0]$ bin/taskmanager.sh start

(4)在hadoop102上模拟发送单词数据。

bash 复制代码
[root@hadoop102 ~]$ nc -lk 7777

hello

(5)在hadoop102:8081地址中观察输出数据

(6)如果希望停掉集群,同样可以使用脚本,命令如下。

bash 复制代码
[root@hadoop102 flink-1.17.0]$ bin/taskmanager.sh stop

[root@hadoop102 flink-1.17.0]$ bin/standalone-job.sh stop
相关推荐
一叶飘零_sweeeet11 分钟前
深入 Spring 内核:解密 15 种设计模式的实战应用与底层实现
java·spring·设计模式
凤山老林15 分钟前
排序算法:详解插入排序
java·开发语言·后端·算法·排序算法
彦楠19 分钟前
IDEA实用快捷键
java·ide·intellij-idea
TDengine (老段)21 分钟前
连接 TDengine 遇到报错 “failed to connect to server, reason: Connection refused” 怎么办?
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
攻城狮7号26 分钟前
AI+大数据时代:如何从架构到生态重构时序数据库的价值?
大数据·人工智能·时序数据库·apache iotdb·sql大模型
豆沙沙包?27 分钟前
2025年--Lc197-077. 排序链表(链表,尾插法)--Java版
java·数据结构·链表
m0_6515939132 分钟前
深入理解软件设计中的协议与规范:从理论到Java实践
java·软件工程·代码规范·设计规范
Knight_AL42 分钟前
Tomcat 类加载器隔离机制的实际应用
java·tomcat
TDengine (老段)43 分钟前
内网搭建邮件服务,打通 TDengine IDMP 通知途径
大数据·时序数据库·tdengine
FreeBuf_1 小时前
Spring两大漏洞可导致泄露敏感信息及安全防护绕过(CVE-2025-41253/41254)
java·安全·spring