flink operator 拉取阿里云私有镜像(其他私有类似)

创建 k8s secret

bash 复制代码
kubectl --namespace flink create secret docker-registry aliyun-docker-registry --docker-server=registry.cn-shenzhen.aliyuncs.com --docker-username=ops_acr@1060896234 --docker-password=passwd --docker-email=DOCKER_EMAIL

注意命名空间指定你使用的 我的命名空间是flink

secret type = docker-registry 这个是固定值不需要动

aliyun-docker-registry 为你的secret 取的固定名称

--docker-server 就是你私库地址

--docker-username 登录名称

--docker-password 登录密码

查看

bash 复制代码
kubectl get secret aliyun-docker-registry -n flink
#后面的命名空间不要忘记 要不然找不到
kubectl  --namespace flink get secret aliyun-docker-registry -o yaml
# 以yaml 的方式查看配置文件
json 复制代码
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: autoscaling-example
  namespace: flink
spec:
  imagePullPolicy: IfNotPresent
  flinkVersion: v1_18
  flinkConfiguration:
    job.autoscaler.enabled: "true"
    job.autoscaler.stabilization.interval: "1m"
    job.autoscaler.metrics.window: "3m"
    pipeline.max-parallelism: "24"
    taskmanager.numberOfTaskSlots: "2"
    state.savepoints.dir: hdfs:///flink/savepoints
    state.checkpoints.dir: hdfs:///flink/checkpoints
    high-availability.type: kubernetes
    high-availability.storageDir: hdfs:///flink/ha
    execution.checkpointing.interval: "1m"
    jobmanager.scheduler: adaptive
    job.autoscaler.target.utilization.boundary: "0.1"
  serviceAccount: flink
  podTemplate:
    apiVersion: v1
    kind: Pod
    metadata:
      name: pod-template
    spec:
      containers:
        - name: flink-main-container
          imagePullPolicy: IfNotPresent
          image: registry.cn-hangzhou.aliyuncs.com/liguo/autoscaling-example:17.0
      imagePullSecrets:
        - name: aliyun-docker-registry
  jobManager:
    resource:
      memory: "1024m"
      cpu: 1
  taskManager:
    resource:
      memory: "1024m"
      cpu: 1
  job:
    jarURI: local:///opt/flink/usrlib/flink1_18demo-1.0-SNAPSHOT.jar
    parallelism: 1
    upgradeMode: last-state

目前对k8s 刚刚接触1周所有对podTemplate 还是不太了解 目前这个配置时可用的 在pod 中拉取镜像引用 鉴权

提交

bash 复制代码
kubectl create -f test.yaml -n flink 
#我内部已经指定命名空间了 但是我习惯对外加上


日志持久化

非镜像部署

日志持久化到hdfs

相关推荐
汽车仪器仪表相关领域12 分钟前
工业商业安全 “哨兵”:GT-NHVR-20-A1 点型可燃气体探测器实操解析与场景适配
大数据·人工智能·功能测试·安全·安全性测试
顽疲23 分钟前
SpringBoot + Vue 集成阿里云OSS直传最佳实践
vue.js·spring boot·阿里云
ctrigger35 分钟前
电子信息三胞胎:电子信息工程、电子科学技术、电子信息科学技术
大数据·注册电气工程师
得物技术1 小时前
告别数据无序:得物数据研发与管理平台的破局之路
大数据·数据库·数据分析
武子康1 小时前
大数据-137 ClickHouse MergeTree 实战指南|分区、稀疏索引与合并机制 存储结构 一级索引 跳数索引
大数据·后端·nosql
D11_2 小时前
阿里云服务器百度站长平台验证完整指南:SSH文件验证详解
服务器·百度·阿里云
TDengine (老段)2 小时前
TDengine 数学函数 SIGN 用户手册
大数据·数据库·sql·时序数据库·iot·tdengine·涛思数据
Elastic 中国社区官方博客3 小时前
在 Elastic Observability 中,启用 TSDS 集成可节省高达 70% 的指标存储
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索·时序数据库
链上日记3 小时前
AIOT进军纳斯达克,推动Web3健康金融迈向全球资本市场
大数据·金融·web3
quintin20254 小时前
2025全面评测:企业培训课件制作软件哪个好一点呢
大数据·人工智能