使用docker build自制flink镜像供k8s使用

1、创建一个空目录专门用于自制docker镜像

bash 复制代码
mkdir -p /opt/module/flink-docker

2、将符合项目要求的本地flink拷贝到目录

bash 复制代码
cp -r /opt/module/flink-1.16.3 /opt/module/flink-docker

cd /opt/module/flink-docker

mv flink-1.16.3 flink

3、编写Dockerfile文件

bash 复制代码
FROM m.daocloud.io/docker.io/library/openjdk:8-jre #基于openjdk:8-jre镜像

#设置环境变量
#本地准备好的flink软件目录,用于拷贝到镜像内部
ENV FLINK_DIR=flink/
#镜像中存放flink的Home目录
ENV FLINK_HOME=/opt/flink
#拷贝本地的文件到镜像指定地方
COPY gosu-amd64 /usr/local/bin/gosu
COPY gosu-amd64.asc /usr/local/bin/gosu.asc
#替换镜像中的镜像源
RUN sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list && \
    sed -i 's/security.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list
#拷贝本地的文件到镜像指定地方
COPY gettext-base_0.21-4_amd64.deb /gettext-base_0.21-4_amd64.deb
COPY libjemalloc-dev_5.2.1-3_amd64.deb /libjemalloc-dev_5.2.1-3_amd64.deb

# 在镜像内部运行下面的命令
RUN apt-get -y install dpkg; \
  dpkg -i /gettext-base_0.21-4_amd64.deb; \
  dpkg -i /libjemalloc-dev_5.2.1-3_amd64.deb; \
  apt-get -y install gettext-base libjemalloc-dev; \
  rm -rf /gettext-base_0.21-4_amd64.deb /libjemalloc-dev_5.2.1-3_amd64.deb; \
  rm -rf /var/lib/apt/lists/*
# 设置环境变量
ENV GOSU_VERSION 1.11
# 在镜像内部运行下面的命令
RUN gpg --batch --verify /usr/local/bin/gosu.asc /usr/local/bin/gosu; \
  gpgconf --kill all; \
  rm -rf "$GNUPGHOME" /usr/local/bin/gosu.asc; \
  chmod +x /usr/local/bin/gosu; \
  gosu nobody true

# 设置环境变量
ENV FLINK_HOME=/opt/flink
ENV PATH=$FLINK_HOME/bin:$PATH
# 在镜像内部运行下面的命令
RUN groupadd --system --gid=9999 flink && \
    useradd --system --home-dir $FLINK_HOME --uid=9999 --gid=flink flink
# 设置工作目录
WORKDIR $FLINK_HOME
# 拷贝本地flink到镜像内部
COPY $FLINK_DIR $FLINK_HOME

# 在镜像内部执行下面的命令
RUN set -ex; \
  chown -R flink:flink .; \
  chmod -R 775 .; \
  # Replace default REST/RPC endpoint bind address to use the container's network interface \
  sed -i 's/rest.address: localhost/rest.address: 0.0.0.0/g' $FLINK_HOME/conf/flink-conf.yaml; \
  sed -i 's/rest.bind-address: localhost/rest.bind-address: 0.0.0.0/g' $FLINK_HOME/conf/flink-conf.yaml; \
  sed -i 's/jobmanager.bind-host: localhost/jobmanager.bind-host: 0.0.0.0/g' $FLINK_HOME/conf/flink-conf.yaml; \
  sed -i 's/taskmanager.bind-host: localhost/taskmanager.bind-host: 0.0.0.0/g' $FLINK_HOME/conf/flink-conf.yaml; \
  sed -i '/taskmanager.host: localhost/d' $FLINK_HOME/conf/flink-conf.yaml;
# 在镜像内部执行下面的命令
RUN rm -rf $FLINK_DIR
# 拷贝文件到镜像根目录
COPY docker-entrypoint.sh /
# 在镜像内部执行下面的命令
RUN chmod +x /docker-entrypoint.sh
# 为容器指定默认执行的命令,容器启动时的默认行为
ENTRYPOINT ["/docker-entrypoint.sh"]
# 于声明容器运行时对外提供服务的端口
EXPOSE 6123 8081
# 镜像被启动后Docker容器默认执行的命令
CMD ["help"]

4、将Dockerfile中依赖的文件下载到本地

上文中用到的docker-entrypoint.sh、gettext-base_0.21-4_amd64.deb、gosu-amd64、gosu-amd64.asc和libjemalloc-dev_5.2.1-3_amd64.deb文件先下载到本地

Dockfile及docker-entrypoint.sh可以参考

flink-docker/1.18/scala_2.12-java8-ubuntu at master · apache/flink-docker · GitHub

5、构建镜像包

bash 复制代码
docker build --no-cache -t flink:1.16.3 ./

6、打标签,目的是为了推送到Harbor

bash 复制代码
docker tag flink:1.16.3 harbor的ip:harbor的端口/flink/flink:1.16.3

docker push harbor的ip:harbor的端口/flink/flink:1.16.3

7、使用k8s部署

参考flink官方创建所需的yaml文件,或者下载文末百度网盘中的文件(使用的namespace为flink)

Kubernetes 设置 | Apache Flink

bash 复制代码
# 进入k8s部署文件yaml所在目录
cd /opt/session-mode
# 部署
kubectl apply -f .

flink-docker.tgz

链接:https://pan.baidu.com/s/1ItGu2Sh3nigtwvRAeGGUHQ?pwd=5qj0

提取码:5qj0

session-mode.zip

链接:https://pan.baidu.com/s/1aKtBuV8NtoHKFCaPn1Zi5w?pwd=l9k1

提取码:l9k1

参考:

https://www.cnblogs.com/chouc/p/17330527.html
GitHub - apache/flink-docker: Docker packaging for Apache Flink

相关推荐
资源开发与学习2 天前
Kubernetes集群核心概念 Service
kubernetes
muyun28002 天前
Docker 下部署 Elasticsearch 8 并集成 Kibana 和 IK 分词器
elasticsearch·docker·容器
Nazi62 天前
k8s的dashboard
云原生·容器·kubernetes
傻傻虎虎2 天前
【Docker】常用帮忙、镜像、容器、其他命令合集(2)
运维·docker·容器
是小崔啊2 天前
叩丁狼K8s - 概念篇
云原生·容器·kubernetes
2401_897930063 天前
使用Docker轻松部署Neo4j图数据库
数据库·docker·neo4j
summer_west_fish3 天前
2023年系统分析师上半年论文试题分析
kubernetes
LeeZhao@3 天前
【AI推理部署】Docker篇04—Docker自动构建镜像
人工智能·docker·容器
程思扬3 天前
利用JSONCrack与cpolar提升数据可视化及跨团队协作效率
网络·人工智能·经验分享·docker·信息可视化·容器·架构
落日漫游3 天前
dockercompose和k8s区别
docker·kubernetes