分布式编程实验二:Flink安装与编程实践(头歌云客)

Flink的运行需要Java环境的支持,因此,在安装Flink之前,请先参照相关资料安装Java环境(比如Java8)。然后,到Flink官网下载安装包。

参考链接:http://t.csdnimg.cn/VKdb4

然后,使用如下命令对安装文件进行解压缩:

复制代码
#解压安装包
root@educoder:~# cd /data/bigfiles
root@educoder:/data/bigfiles# ll
root@educoder:/data/bigfiles# sudo tar xf flink-1.11.2-bin-scala_2.12.tgz -C /usr/local/
root@educoder:/data/bigfiles# cd /usr/local
root@educoder:/usr/local# ll
root@educoder:/usr/local# sudo mv flink-1.11.2 flink
 
#把spark目录权限赋予给root用户
root@educoder:/usr/local# sudo chown -R root:root flink/

Flink对于本地模式是开箱即用的,如果要修改Java运行环境,可以修改/usr/local/flink/conf/flink-conf.yaml文件中的env.java.home参数,设置为本地Java的绝对路径。

复制代码
#添加环境变量
root@educoder:/usr/local# vim ~/.bashrc
export FLINK_HOME=/usr/local/flink
export PATH=$FLINK_HOME/bin:$PATH
 
#使环境变量生效
root@educoder:/usr/local# source ~/.bashrc

#启动Flink
root@educoder:/usr/local# cd /usr/local/flink/
root@educoder:/usr/local/flink# ./bin/start-cluster.sh
 
#使用jps命令查看进程:
root@educoder:/usr/local/flink# jps
947 Jps
813 TaskManagerRunner
463 StandaloneSessionClusterEntrypoint

如果能够看到TaskManagerRunner和StandaloneSessionClusterEntrypoint这两个进程,就说明启动成功。

Flink的JobManager同时会在8081端口上启动一个Web前端,可以在浏览器中输入"http://localhost:8081"来访问。

Flink安装包中自带了测试样例,这里可以运行WordCount样例程序来测试Flink的运行效果,具体命令如下:

复制代码
root@educoder:/usr/local/flink# ./bin/flink run /usr/local/flink/examples/batch/WordCount.jar
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
Job has been submitted with JobID a233bdcf94be8dff81c16700a37af554
Program execution finished
Job with JobID a233bdcf94be8dff81c16700a37af554 has finished.
Job Runtime: 1403 ms
Accumulator Results: 
- b976f607e34fcfc1b3e8e840de3c8388 (java.util.ArrayList) [170 elements]


(a,5)
(action,1)
(after,1)
(against,1)
......
相关推荐
全栈陈序员14 小时前
【Git】从入门到精通(六)—— git commit:提交到版本库
大数据·git·elasticsearch
真上帝的左手14 小时前
30. 技术专题-‌应用框架组件-搜索引擎-ES
大数据·分布式·elasticsearch·搜索引擎·中间件
天河归来1 天前
第三方接口不稳定,如何让核心任务继续完成
java·大数据
GlobalInfo1 天前
2026年全球机器人用超平执行器市场研究报告:市场规模达7.51亿美元,人形机器人商业化与轻量化运动控制需求推动行业增长
大数据·人工智能·数码相机·microsoft·机器人
IT古董1 天前
《Agent开发工程师成长指南》- 第4章 第2节:Prompt设计五要素——任务、角色、上下文、约束与输出格式
大数据·人工智能·prompt
8Qi81 天前
DDD架构演进
java·分布式·mvc·ddd
方方洛1 天前
ray教程-23-附录C-术语表
人工智能·分布式·机器学习
Allen_LVyingbo1 天前
NVIDIA CUDA Tile 在医疗计算中的算子形式化、算法重构与内核实现
大数据·python·算法·重构·知识图谱·健康医疗·数据库架构
全栈陈序员1 天前
【Git】从入门到精通(一)—— Git简介:什么是版本控制系统
大数据·git·elasticsearch
中国搜索直付通1 天前
分账系统有风险吗?资金安全怎么保障?
大数据·支付通道·分账系统·分账支付