docker-compose 部署flink集群_docker-compose flink-CSDN博客
Apache Flink的数据流编程模型在有限和无限数据集上提供单次事件(event-at-a-time)处理。在基础层面,Flink程序由流和转换组成。
Apache Flink的API:有界或无界数据流的数据流API、用于有界数据集的数据集API、表API。 [3]
数据流的运行流程
Flink程序在执行后被映射到流数据流,每个Flink数据流以一个或多个源(数据输入,例如 消息队列或文件系统)开始,并以一个或多个接收器(数据输出,如消息队列、文件系统或数据库等)结束。Flink可以对流执行任意数量的变换,这些流可以被编排为有向无环数据流图,允许应用程序分支和合并数据流。
Flink的数据源和接收器
Flink提供现成的源和接收连接器,包括Apache Kafka、Amazon Kinesis、HDFS和Apache Cassandra等。
Flink程序可以作为集群内的分布式系统运行,也可以以独立模式或在YARN、Mesos、基于Docker的环境和其他资源管理框架下进行部署。
准备工作
# Docker Compose 安装教程:
https://blog.csdn.net/justlpf/article/details/131973134
# docker-compose常用命令:
https://blog.csdn.net/justlpf/article/details/132734556
1、在服务器创建/data/flink目录
mkdir -p /data/flink
2、docker-compose.yml脚本创建
vi /data/flink/docker-compose.yml
version: "2.1"
services:
jobmanager:
image: flink:1.14
expose:
- "6123"
ports:
- "8081:8081"
command: jobmanager
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
taskmanager:
image: flink:1.14
expose:
- "6121"
- "6122"
depends_on:
- jobmanager
command: taskmanager
links:
- "jobmanager:jobmanager"
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
3、启动flink
(1)后台运行 一 > 一般推荐生产环境下使用该选项。
docker-compose up -d
(2)前台运行 一 > 控制台将会同时打印所有容器的输出信息,可以很方便进行调试。
docker-compose up
4、启动多个taskmanager
# 启用5个taskmanager
docker-compose scale taskmanager=5
启动问题参考:
$ docker-compose up
ERROR: Couldn't connect to Docker daemon at http+docker://localunixsocket - is it running?
If it's at a non-standard location, specify the URL with the DOCKER_HOST environment variable.
解决参考:https://blog.csdn.net/xiojing825/article/details/79494408
# 加上sudo,这个会输出详细日志到窗口
flink]$ sudo docker-compose up
Creating network "flink_default" with the default driver
Pulling jobmanager (flink:1.14)...
1.14: Pulling from library/flink
301a8b74f71f: Pull complete
4688df200b56: Pull complete
317eff501ed4: Pull complete
5、浏览器上查看页面dashboard
http://IP:8081
想web访问,但是只能访问localhost,本地ip都无法访问。
解决方法:
- 首先在容器内执行 wget http://localhost:8081,确定flink在本地可以访问
- 容器内输入: netstat -ano
可以看到目前只允许本机访问
- 在${flink}/conf/flink-conf.yaml文件中这里改成 0.0.0.0或者指定的ip,类似白名单,就可以了
- 重启flink
- 容器再次内输入: netstat -ano
到这里使用ip及映射的端口就可以访问了