Ubuntu上搭建Flink Standalone集群
本文部分内容转自如下链接。
环境说明
ubuntu 22.06
先执行apt-get update更新环境
第1步 安装JDK
通过apt自动拉取 openjdk8
apt-get install openjdk-8-jdk
执行java -version,如果能显示Java版本号,表示安装并配置成功。
第2步 安装Scala
通过apt自动拉取 Scala最新版
apt-get install scala
第3步 获取flink安装包
先到flink官方下载页面flink下载,找到要下载的版本,使用如下命令获取flink安装包
wget https://dlcdn.apache.org/flink/flink-1.20.0/flink-1.20.0-bin-scala_2.12.tgz
等待下载完成,即可在当前文件夹下看到该安装包。
使用如下命令解压该安装包:
tar -xvf flink-1.20.0-bin-scala_2.12.tgz
会在当前目标下生成新文件夹"flink-1.20.0"
第4步 启动flink stand-alone集群
使用bin/start-cluster.sh命令可以启动集群。
bin/start-cluster.sh
启动成功后,可通过jps命令,查看到启动的进程,包括一个taskmanager和一个ClusterEntryPoint进程
使用bin/stop-cluster.sh可以停止集群运行。
第5步 打开集群监控页面
flink自带了一个集群状态监控系统,通过 http://[ip]:8081/访问,其中ip是集群部署的IP地址。将显示如下的信息:
如果是从外部(其他IP地址)访问这个系统,需要修改conf/config.yaml文件中的rest.bind-address属性为"0.0.0.0".
重启集群服务,即可从外部访问。
第6步 测试运行wordcount示例
flink自带了一个WordCount.jar,可以统计单词个数。
可以通过如下方式运行。
打开一个新的命令行窗口,运行如下命令以模拟发送的单词实时数据:
nc -lk 9999
运行后该窗口会处于等待输入状态,可以输入不同的单词。
通过以下命令运行flink的WordCount.jar示例
bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9999
上面的端口要与上一行命令中的端口保持一致
显示启动成功后,可以看到任务id
Job has been submitted with JobID 989aa05352edaa169331b03722a8e4b3
再打开监控页面,可以看到
任务完成