【赫兹威客】完全分布式Flink测试教程

本文档为完全分布式大数据环境(3台虚拟机:hadoop01~hadoop03)中Flink组件(Standalone模式)的独立测试教程,基于视频操作流程,结合完全分布式测试文档的规范要求,详细说明从环境准备、远程连接到服务启停、核心功能验证(Web页面验证、批处理任务验证)的全流程,适用于验证Flink集群的独立可用性。

一、前期准备:环境基础信息与测试前提

测试前需确认环境配置及依赖组件状态符合要求,避免因环境问题导致测试失败:

1.1 基础环境信息

  • 虚拟机配置:3台虚拟机(命名为hadoop01、hadoop02、hadoop03),硬盘总配置100GB~200GB,已完成基础环境部署
  • 系统账号:优先使用hertz账号(密码:hertz);特殊操作需使用root账号(密码:1)
  • 工具准备:Mobaxterm远程连接工具(已安装并可正常使用)、本地浏览器
  • 网络要求:虚拟机之间网络互通,本地主机与虚拟机网络连通;已关闭所有虚拟机防火墙(root账号执行命令:systemctl stop firewalld)
  • 安装目录:所有组件统一安装于 /opt/module 目录下,Flink相关环境变量已配置完成
  • 端口要求:确保Flink默认端口8081(Web管理页面)无占用
  • 依赖组件:Flink需依赖Hadoop(HDFS)存储数据、ZooKeeper管理集群状态,需提前确认两者环境配置正确

1.2 测试前提

  • 3台虚拟机(hadoop01~hadoop03)均正常启动,已到达登录页面
  • 以hertz账号登录hadoop01节点(分布式脚本统一在hadoop01执行)
  • 依赖组件已正常启动:ZooKeeper服务(执行命令:zk start,状态为1台Leader、2台Follower)、Hadoop(HDFS+YARN)服务(执行命令:start-all.sh),且Hadoop已退出安全模式(执行命令:hdfs dfsadmin -safemode get 验证显示"OFF")
  • HDFS上已有复用的测试文件(即Hadoop测试中创建的/test_hdfs/test.txt)

二、Flink测试详细步骤

步骤1:确认虚拟机启动状态

操作说明:分别检查3台虚拟机(hadoop01、hadoop02、hadoop03)的启动状态,确保每台虚拟机系统加载完成,均已到达登录页面。

预期结果:3台虚拟机均正常启动,无启动报错,各自显示系统登录界面。

步骤2:使用Mobaxterm连接虚拟机

操作说明:打开本地Mobaxterm工具,分别建立与3台虚拟机(hadoop01、hadoop02、hadoop03)的SSH远程连接。

核心操作要点:

  • 新建远程连接,选择SSH连接类型
  • 分别输入3台虚拟机对应的正确IP地址
  • 默认选择普通用户登录类型,无需额外修改

预期结果:3台虚拟机的Mobaxterm连接均成功建立,各自进入等待登录状态。

步骤3:输入账号密码完成登录

操作说明:在3台虚拟机对应的Mobaxterm连接终端中,依次完成账号和密码的输入操作。

具体操作:

  • 终端提示输入账号时,输入:hertz
  • 回车后,终端提示输入密码,输入:hertz(密码输入时无明文显示,直接输入后回车即可)

预期结果:3台虚拟机均登录成功,终端界面分别显示当前登录用户及主机标识,如hertz@hadoop01 \~、\[hertz@hadoop02 \~\]hertz@hadoop03 \~$。

步骤4:启动Flink相关服务

操作说明:在登录成功的hadoop01节点终端中,先确认依赖的ZooKeeper、Hadoop服务已正常运行,再执行Flink集群(Standalone模式)启动命令。

具体操作:

说明:start-cluster.sh为Flink Standalone模式内置集群启动脚本,执行后可一键启动hadoop01的JobManager节点和3台节点的TaskManager节点,两者均启动后Flink集群方可正常提供服务。

预期结果:终端逐步输出各节点Flink服务的启动日志,无报错提示。

步骤5:执行jps命令验证进程状态

操作说明:启动命令执行完成后,分别在hadoop01、hadoop02、hadoop03节点的终端中输入jps命令,查看各节点Java进程运行情况。

具体命令:jps

预期结果:各节点进程符合以下要求,说明Flink服务启动正常:

  • hadoop01节点:包含StandaloneSessionClusterEntrypoint(即JobManager进程)
  • hadoop01~hadoop03节点:均包含TaskManagerRunner(即TaskManager进程)

步骤6:浏览器访问Flink Web页面验证节点状态

操作说明:在本地打开浏览器,访问Flink JobManager节点的Web管理页面,查看"Task Managers"栏目验证节点状态。

具体操作:

  • 打开本地浏览器,在地址栏输入:hadoop01:8081(注:"hadoop"需替换为hadoop01节点的IP或主机名,确保本地可正常解析)
  • 进入Web页面后,找到"Task Managers"栏目,查看当前Flink集群中的TaskManager节点信息

预期结果:

  • 浏览器可正常打开Flink Web页面,无访问失败提示
  • "Task Managers"栏目显示3台节点信息,状态均正常

步骤7:执行完全分布式测试文档中的Flink测试命令

操作说明:在hadoop01节点终端中,执行与完全分布式测试文档一致的Flink批处理任务测试命令,验证Flink核心计算功能。

具体操作:

  • 提交批处理任务:执行命令:flink run $FLINK_HOME/examples/batch/WordCount.jar --input hdfs://hadoop01:8020/test_hdfs/test.txt --output hdfs://hadoop01:8020/test_flink_output2
  • 查看任务执行结果:执行命令:hdfs dfs -cat /test_flink_output2/*
  • (可选)删除输出目录:执行命令:hdfs dfs -rm -r /test_flink_output2

说明:$FLINK_HOME为Flink安装目录的环境变量,命令中使用Hadoop测试时已创建的/test_hdfs/test.txt作为输入文件,输出目录指定为/test_flink_output2。

预期结果:所有测试命令执行无报错,任务执行成功;查看结果时终端输出词频统计信息:hadoop 1、test 1,与输入文件内容匹配。

步骤8:关闭Flink相关服务

操作说明:功能验证完成后,在hadoop01节点执行Flink集群停止命令,最后根据需求停止依赖服务。

具体操作:

  • 停止Flink集群:在hadoop01节点终端执行命令:stop-cluster.sh(一键停止所有节点的Flink服务)
  • 停止依赖服务(可选):若后续无需使用其他组件,依次执行zk stop(停止ZooKeeper)、stop-all.sh(停止Hadoop)

预期结果:

  • Flink集群停止命令执行无报错,终端输出各节点JobManager、TaskManager服务停止日志。
相关推荐
千瓜8 分钟前
用户洞察:负鼠走红?解读新世代“动物人格”
大数据·人工智能·数据分析·生活·新媒体
liuliuqiqirr1 小时前
2026最新两款AI编程工具深度对比实测
大数据·ai编程
cspttty2 小时前
数字经济没有项目经验,怎么补就业短板
大数据·人工智能
数智化管理手记2 小时前
应收应付资金占用过高怎么办?应收应付搭配账龄分析怎么做
大数据·网络·数据库·人工智能·数据挖掘
大大大大晴天2 小时前
Hudi技术内幕:Compaction原理与实践
大数据
zyplayer-doc2 小时前
研发接口文档怎么长期维护:zyplayer-doc把API、Markdown和变更记录放进同一个知识库
大数据·数据库·人工智能·笔记·pdf·ocr
霸道流氓气质3 小时前
Kiro 中配置 RabbitMQ MCP Server 指南
分布式·rabbitmq·ruby
奥莱维3 小时前
经济型酒店智能客控轻量化方案
大数据·网络·人工智能
国科安芯3 小时前
AS32S601型抗辐射MCU在分布式太空算力架构中的技术演进与应用前景
人工智能·分布式·单片机·嵌入式硬件·架构·边缘计算
新芒3 小时前
【无标题】
大数据·人工智能