flink operator 拉取阿里云私有镜像(其他私有类似)

创建 k8s secret

bash 复制代码
kubectl --namespace flink create secret docker-registry aliyun-docker-registry --docker-server=registry.cn-shenzhen.aliyuncs.com --docker-username=ops_acr@1060896234 --docker-password=passwd --docker-email=DOCKER_EMAIL

注意命名空间指定你使用的 我的命名空间是flink

secret type = docker-registry 这个是固定值不需要动

aliyun-docker-registry 为你的secret 取的固定名称

--docker-server 就是你私库地址

--docker-username 登录名称

--docker-password 登录密码

查看

bash 复制代码
kubectl get secret aliyun-docker-registry -n flink
#后面的命名空间不要忘记 要不然找不到
kubectl  --namespace flink get secret aliyun-docker-registry -o yaml
# 以yaml 的方式查看配置文件
json 复制代码
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: autoscaling-example
  namespace: flink
spec:
  imagePullPolicy: IfNotPresent
  flinkVersion: v1_18
  flinkConfiguration:
    job.autoscaler.enabled: "true"
    job.autoscaler.stabilization.interval: "1m"
    job.autoscaler.metrics.window: "3m"
    pipeline.max-parallelism: "24"
    taskmanager.numberOfTaskSlots: "2"
    state.savepoints.dir: hdfs:///flink/savepoints
    state.checkpoints.dir: hdfs:///flink/checkpoints
    high-availability.type: kubernetes
    high-availability.storageDir: hdfs:///flink/ha
    execution.checkpointing.interval: "1m"
    jobmanager.scheduler: adaptive
    job.autoscaler.target.utilization.boundary: "0.1"
  serviceAccount: flink
  podTemplate:
    apiVersion: v1
    kind: Pod
    metadata:
      name: pod-template
    spec:
      containers:
        - name: flink-main-container
          imagePullPolicy: IfNotPresent
          image: registry.cn-hangzhou.aliyuncs.com/liguo/autoscaling-example:17.0
      imagePullSecrets:
        - name: aliyun-docker-registry
  jobManager:
    resource:
      memory: "1024m"
      cpu: 1
  taskManager:
    resource:
      memory: "1024m"
      cpu: 1
  job:
    jarURI: local:///opt/flink/usrlib/flink1_18demo-1.0-SNAPSHOT.jar
    parallelism: 1
    upgradeMode: last-state

目前对k8s 刚刚接触1周所有对podTemplate 还是不太了解 目前这个配置时可用的 在pod 中拉取镜像引用 鉴权

提交

bash 复制代码
kubectl create -f test.yaml -n flink 
#我内部已经指定命名空间了 但是我习惯对外加上


日志持久化

非镜像部署

日志持久化到hdfs

相关推荐
爱吃面的猫20 分钟前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
Fireworkitte1 小时前
安装 Elasticsearch IK 分词器
大数据·elasticsearch
ywyy67982 小时前
短剧系统开发定制全流程解析:从需求分析到上线的专业指南
大数据·需求分析·短剧·推客系统·推客小程序·短剧系统开发·海外短剧系统开发
暗影八度4 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
白鲸开源4 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据
海豚调度4 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
白鲸开源5 小时前
DolphinScheduler+Sqoop 入门避坑:一文搞定数据同步常见异常
大数据
Edingbrugh.南空5 小时前
Flink ClickHouse 连接器数据读取源码深度解析
java·clickhouse·flink
学术小八6 小时前
第二届云计算与大数据国际学术会议(ICCBD 2025)
大数据·云计算
求职小程序华东同舟求职6 小时前
龙旗科技社招校招入职测评25年北森笔试测评题库答题攻略
大数据·人工智能·科技