分布式编程实验二:Flink安装与编程实践(头歌云客)

Flink的运行需要Java环境的支持,因此,在安装Flink之前,请先参照相关资料安装Java环境(比如Java8)。然后,到Flink官网下载安装包。

参考链接:http://t.csdnimg.cn/VKdb4

然后,使用如下命令对安装文件进行解压缩:

复制代码
#解压安装包
root@educoder:~# cd /data/bigfiles
root@educoder:/data/bigfiles# ll
root@educoder:/data/bigfiles# sudo tar xf flink-1.11.2-bin-scala_2.12.tgz -C /usr/local/
root@educoder:/data/bigfiles# cd /usr/local
root@educoder:/usr/local# ll
root@educoder:/usr/local# sudo mv flink-1.11.2 flink
 
#把spark目录权限赋予给root用户
root@educoder:/usr/local# sudo chown -R root:root flink/

Flink对于本地模式是开箱即用的,如果要修改Java运行环境,可以修改/usr/local/flink/conf/flink-conf.yaml文件中的env.java.home参数,设置为本地Java的绝对路径。

复制代码
#添加环境变量
root@educoder:/usr/local# vim ~/.bashrc
export FLINK_HOME=/usr/local/flink
export PATH=$FLINK_HOME/bin:$PATH
 
#使环境变量生效
root@educoder:/usr/local# source ~/.bashrc

#启动Flink
root@educoder:/usr/local# cd /usr/local/flink/
root@educoder:/usr/local/flink# ./bin/start-cluster.sh
 
#使用jps命令查看进程:
root@educoder:/usr/local/flink# jps
947 Jps
813 TaskManagerRunner
463 StandaloneSessionClusterEntrypoint

如果能够看到TaskManagerRunner和StandaloneSessionClusterEntrypoint这两个进程,就说明启动成功。

Flink的JobManager同时会在8081端口上启动一个Web前端,可以在浏览器中输入"http://localhost:8081"来访问。

Flink安装包中自带了测试样例,这里可以运行WordCount样例程序来测试Flink的运行效果,具体命令如下:

复制代码
root@educoder:/usr/local/flink# ./bin/flink run /usr/local/flink/examples/batch/WordCount.jar
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
Job has been submitted with JobID a233bdcf94be8dff81c16700a37af554
Program execution finished
Job with JobID a233bdcf94be8dff81c16700a37af554 has finished.
Job Runtime: 1403 ms
Accumulator Results: 
- b976f607e34fcfc1b3e8e840de3c8388 (java.util.ArrayList) [170 elements]


(a,5)
(action,1)
(after,1)
(against,1)
......
相关推荐
真上帝的左手1 分钟前
27. 数据产品-数据治理-11.完整岗位体系
大数据·数据治理·数据架构
I Am a robert girl3 分钟前
VideoLoop:用循环工作记忆对抗长视频 Agent 的语义抖动
大数据·人工智能·机器学习·多模态agent·长视频理解·工作记忆·语义抖动
龙亘川13 分钟前
水质决策报表业务建模:从自定义报表到六时间尺度自动报表闭环
大数据·人工智能·智慧城市·开源软件
广东帝工13 分钟前
给内河航道搭建立体感知网络
大数据
合合技术团队44 分钟前
合合信息亮相新加坡科技周,携手博彦科技共拓海外AI市场
大数据·人工智能·科技·合合信息·textin·多模态文本智能技术
55873 生态系统1 小时前
1817册典籍如何被AI读取?——“可复核文明知识库“的体系化构建实践
大数据·人工智能·55873全域文明生态体系·55873操作系统·全域文明生态系统·55873数字资产
Regentsoft丽晶软件1 小时前
服装智能配补调系统哪家强?售罄率提升背后的算法逻辑分析
大数据·数据库架构·零售
临床数据科学和人工智能兴趣组1 小时前
字符串转换为句子风格
大数据·数据库·人工智能·r语言·r语言-4.2.1
YH_Analytics2 小时前
2026 年二氧化碳气体回收设备产业链分析报告市场洞察
大数据·人工智能
橙色云-智橙协同研发2 小时前
电子高科技行业:机械与电子(MCAD & ECAD)如何协同?
大数据·运维·服务器·人工智能·安全