Ubuntu上搭建Flink Standalone集群

本文部分内容转自如下链接

环境说明

ubuntu 22.06

先执行apt-get update更新环境

第1步 安装JDK

通过apt自动拉取 openjdk8

复制代码
apt-get install openjdk-8-jdk

执行java -version,如果能显示Java版本号,表示安装并配置成功。

第2步 安装Scala

通过apt自动拉取 Scala最新版

复制代码
apt-get install scala

第3步 获取flink安装包

先到flink官方下载页面flink下载,找到要下载的版本,使用如下命令获取flink安装包

复制代码
wget https://dlcdn.apache.org/flink/flink-1.20.0/flink-1.20.0-bin-scala_2.12.tgz

等待下载完成,即可在当前文件夹下看到该安装包。

使用如下命令解压该安装包:

复制代码
tar -xvf flink-1.20.0-bin-scala_2.12.tgz

会在当前目标下生成新文件夹"flink-1.20.0"

使用bin/start-cluster.sh命令可以启动集群。

复制代码
bin/start-cluster.sh

启动成功后,可通过jps命令,查看到启动的进程,包括一个taskmanager和一个ClusterEntryPoint进程

使用bin/stop-cluster.sh可以停止集群运行。

第5步 打开集群监控页面

flink自带了一个集群状态监控系统,通过 http://[ip]:8081/访问,其中ip是集群部署的IP地址。将显示如下的信息:

如果是从外部(其他IP地址)访问这个系统,需要修改conf/config.yaml文件中的rest.bind-address属性为"0.0.0.0".

重启集群服务,即可从外部访问。

第6步 测试运行wordcount示例

flink自带了一个WordCount.jar,可以统计单词个数。

可以通过如下方式运行。

打开一个新的命令行窗口,运行如下命令以模拟发送的单词实时数据:

复制代码
nc -lk 9999

运行后该窗口会处于等待输入状态,可以输入不同的单词。

通过以下命令运行flink的WordCount.jar示例

复制代码
bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9999

上面的端口要与上一行命令中的端口保持一致

显示启动成功后,可以看到任务id

复制代码
Job has been submitted with JobID 989aa05352edaa169331b03722a8e4b3

再打开监控页面,可以看到

任务完成

相关推荐
终端鹿6 分钟前
Vue3 + TypeScript 大型项目状态管理:Pinia 类型安全最佳实践
安全·ubuntu·typescript
艾莉丝努力练剑11 分钟前
【Linux信号】Linux进程信号(中):信号保存、信号处理(含“OS是如何运行的?”)
大数据·linux·运维·服务器·数据库·c++·mysql
无忧智库12 分钟前
再生资源行业的数字涅槃:SAP如何驱动“制造+服务”一体化转型(PPT)
大数据·制造
跨境猫小妹16 分钟前
供应链交付不稳定跨境卖家如何建立备选供应商
大数据·人工智能·产品运营·跨境电商·营销策略
User_芊芊君子20 分钟前
大数据时代时序数据库选型指南:Apache IoTDB技术解析与实践建议
大数据·apache·时序数据库
学习使我快乐——玉祥22 分钟前
ElasticSearch离线安装
大数据·elasticsearch·jenkins
雷焰财经24 分钟前
首都在线海外大带宽筑基,加速大模型出海全球化进程
大数据·人工智能
2301_7665586530 分钟前
企业AI获客技术落地:矩阵跃动小陌GEO本地部署与云端优化的协同实现方案
大数据·人工智能·矩阵
2501_9431240542 分钟前
实测数据:矩阵跃动小陌GEO+龙虾机器人,助力企业AI搜索曝光提升3倍+的技术实践
大数据·人工智能
小陈工1 小时前
Python测试实战:单元测试、集成测试与性能测试全解析
大数据·网络·数据库·人工智能·python·单元测试·集成测试