分布式编程实验二:Flink安装与编程实践(头歌云客)

Flink的运行需要Java环境的支持,因此,在安装Flink之前,请先参照相关资料安装Java环境(比如Java8)。然后,到Flink官网下载安装包。

参考链接:http://t.csdnimg.cn/VKdb4

然后,使用如下命令对安装文件进行解压缩:

复制代码
#解压安装包
root@educoder:~# cd /data/bigfiles
root@educoder:/data/bigfiles# ll
root@educoder:/data/bigfiles# sudo tar xf flink-1.11.2-bin-scala_2.12.tgz -C /usr/local/
root@educoder:/data/bigfiles# cd /usr/local
root@educoder:/usr/local# ll
root@educoder:/usr/local# sudo mv flink-1.11.2 flink
 
#把spark目录权限赋予给root用户
root@educoder:/usr/local# sudo chown -R root:root flink/

Flink对于本地模式是开箱即用的,如果要修改Java运行环境,可以修改/usr/local/flink/conf/flink-conf.yaml文件中的env.java.home参数,设置为本地Java的绝对路径。

复制代码
#添加环境变量
root@educoder:/usr/local# vim ~/.bashrc
export FLINK_HOME=/usr/local/flink
export PATH=$FLINK_HOME/bin:$PATH
 
#使环境变量生效
root@educoder:/usr/local# source ~/.bashrc

#启动Flink
root@educoder:/usr/local# cd /usr/local/flink/
root@educoder:/usr/local/flink# ./bin/start-cluster.sh
 
#使用jps命令查看进程:
root@educoder:/usr/local/flink# jps
947 Jps
813 TaskManagerRunner
463 StandaloneSessionClusterEntrypoint

如果能够看到TaskManagerRunner和StandaloneSessionClusterEntrypoint这两个进程,就说明启动成功。

Flink的JobManager同时会在8081端口上启动一个Web前端,可以在浏览器中输入"http://localhost:8081"来访问。

Flink安装包中自带了测试样例,这里可以运行WordCount样例程序来测试Flink的运行效果,具体命令如下:

复制代码
root@educoder:/usr/local/flink# ./bin/flink run /usr/local/flink/examples/batch/WordCount.jar
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
Job has been submitted with JobID a233bdcf94be8dff81c16700a37af554
Program execution finished
Job with JobID a233bdcf94be8dff81c16700a37af554 has finished.
Job Runtime: 1403 ms
Accumulator Results: 
- b976f607e34fcfc1b3e8e840de3c8388 (java.util.ArrayList) [170 elements]


(a,5)
(action,1)
(after,1)
(against,1)
......
相关推荐
大大大大晴天4 小时前
从 HDFS 到对象存储:计算存储分离如何重塑云原生大数据底座
大数据
这个DBA有点耶5 小时前
2026年分布式数据库有哪些主流选择?先评估这5个维度再决定
数据库·分布式·dba
用户36105886261213 小时前
SparkStreaming 之 updateStateByKey 算子详解及代码实现
大数据·spark
咖啡屋和酒吧15 小时前
“隐性肩颈紧张”正在透支精力|没有酸痛,不代表肩颈处于健康状态
大数据·精选
港股研究社15 小时前
专注履约底座,顺丰同城在即时零售效率时代提升增长动能
大数据·人工智能
AI_yangxi17 小时前
短视频矩阵系统选哪家
大数据·人工智能·矩阵
lupai1 天前
手机在网状态接口实测效果与质量评估
大数据·python·智能手机·api接口
大模型丫丫1 天前
Hermes Agent:轻量级智能体框架实战指南
大数据·运维·服务器
大大大大晴天1 天前
每天认识一个组件:SQL网关Apache Kyuubi
大数据
2601_962218471 天前
万象生鲜系统冷链物联网接入技术实现生鲜企业温控管理数字化
大数据·运维·微服务·云原生·架构