flink任务提交example

(1) Start Kubernetes session

./bin/kubernetes-session.sh -Dkubernetes.cluster-id=session-first-flink-cluster

(2) Submit example job

./bin/flink run \ --target kubernetes-session \ -Dkubernetes.cluster-id=session-first-flink-cluster \ ./examples/streaming/TopSpeedWindowing.jar

(3) Stop Kubernetes session by deleting cluster deployment

kubectl delete deployment/session-first-flink-cluster

/home/flink-1.19.0/bin/flink run-application --target kubernetes-application -Dkubernetes.cluster-id=my-first-application-cluster -Dkubernetes.container.image.ref=flink:1.19.0-scala_2.12-java17 local:///home/flink-1.19.0/examples/streaming/SessionWindowing.jar

========================================================================================================================================================

List running job on the cluster

$ ./bin/flink list --target kubernetes-application -Dkubernetes.cluster-id=my-first-application-cluster

Cancel running job

$ ./bin/flink cancel --target kubernetes-application -Dkubernetes.cluster-id=my-first-application-cluster <jobId>

./bin/flink run-application \ --target kubernetes-application \ -Dkubernetes.cluster-id=my-first-application-cluster \ -Dkubernetes.namespace=csg \ -Dkubernetes.service-account=csg \ -Dkubernetes.container.image=flink:1.19.0-scala_2.12-java17 \ -Dkubernetes.rest-service.exposed.type=NodePort \ -Dkubernetes.pod-template-file.jobmanager=/home/pod-template.yaml \ local:///opt/flink/jars/TopSpeedWindowing.jar

./bin/flink run-application \ --target kubernetes-application \ -Dkubernetes.cluster-id=my-first-application-cluster \ -Dkubernetes.namespace=csg \ -Dkubernetes.container.image=flink:1.19.0-scala_2.12-java17 \ -Dkubernetes.user.artifacts.raw-http-enabled=true \ -Dkubernetes.rest-service.exposed.type=NodePort \ https://github.com/turboic/myJar/blob/main/TopSpeedWindowing.jar ./bin/flink run-application \ --target kubernetes-application \ -Dkubernetes.cluster-id=my-first-application-cluster \ -Dkubernetes.namespace=csg \ -Dkubernetes.container.image=flink:1.19.0-scala_2.12-java17 \ -Dkubernetes.rest-service.exposed.type=NodePort \ -Dkubernetes.pod-template-file.jobmanager=/home/pod-template.yaml \ http://file-service:8080/file/download/TopSpeedWindowing.jar

========================================================================================================================================================

./bin/flink run-application \ --target kubernetes-application \ -Dkubernetes.cluster-id=first-application-cluster \ -Dkubernetes.container.image=docker-dev/job:4.1.0-202107011136-e2e38 \ -Dkubernetes.container.image.pull-secrets=arm-repo-secret \ -Dkubernetes.rest-service.exposed.type=NodePort \ -Dkubernetes.pod-template-file.jobmanager=./job-template.yaml \ -Dhigh-availability=org.apache.flink.kubernetes.highavailability.KubernetesHaServicesFactory \ -Dhigh-availability.storageDir=file:///tmp/flink \ -Dclassloader.resolve-order=parent-first \ -c com.ericsson.cv.reactor.job.ReactorJobApplication \ local:///opt/flink/usrlib/job-4.1.0-202107011136-e2e38-with-dependency.jar --config.path "/opt/flink/usrconf/config.properties" --dispatcher.config.path "/opt/flink/usrconf/dispatcher-config.json" 例子 flink run-application -p 2 -t kubernetes-application \ -Dkubernetes.cluster-id={kubernetes_cluster_id} \\ -Dkubernetes.container.image={ACCOUNT_ID}.dkr.ecr.{AWS_REGION}.amazonaws.com/flink-demo:latest \\ -Dkubernetes.container.image.pull-policy=Always \\ -Dkubernetes.jobmanager.service-account=flink-service-account \\ -Dkubernetes.pod-template-file.jobmanager=./jobmanager-pod-template.yaml \\ -Dkubernetes.rest-service.exposed.type=LoadBalancer \\ -Dkubernetes.rest-service.annotations=service.beta.kubernetes.io/aws-load-balancer-security-groups:{EKS_EXTERNAL_SG} \ -Dhigh-availability=org.apache.flink.kubernetes.highavailability.KubernetesHaServicesFactory\ -Dhigh-availability.cluster-id={kubernetes_cluster_id} \\ -Dhigh-availability.storageDir=s3://{FLINK_S3_BUCKET}/recovery \ -Dstate.savepoints.dir=s3://{FLINK_S3_BUCKET}/savepoints/{kubernetes_cluster_id} \ -Dkubernetes.taskmanager.service-account=flink-service-account \ -Dkubernetes.taskmanager.cpu=1 \ -Dtaskmanager.memory.process.size=4096m \ -Dtaskmanager.numberOfTaskSlots=2 \ local:///opt/flink/usrlib/aws-kinesis-analytics-java-apps-1.0.jar \ --inputStreamName {FLINK_INPUT_STREAM} --region {AWS_REGION} --s3SinkPath s3://{FLINK_S3_BUCKET}/data --checkpoint-dir s3://{FLINK_S3_BUCKET}/recovery

https://github.com/aws-samples/cost-optimized-flink-on-kubernetes

相关推荐
B站_计算机毕业设计之家几秒前
Spark微博舆情分析系统 情感分析 爬虫 Hadoop和Hive 贴吧数据 双平台 讲解视频 大数据 Hadoop ✅
大数据·hadoop·爬虫·python·数据分析·1024程序员节·舆情分析
赵渝强老师1 小时前
【赵渝强老师】大数据日志采集引擎Flume
大数据·flume
TDengine (老段)2 小时前
TDengine 数据函数 ROUND 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·1024程序员节
TDengine (老段)2 小时前
TDengine 数学函数 RAND 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
Web3_Daisy2 小时前
冷换仓的隐性代价:从安全策略到地址信誉体系的重新思考
大数据·安全·web3·区块链·比特币·1024程序员节
WLJT1231231233 小时前
生活电器:重构家居体验的产业变革与发展探索
大数据·人工智能·科技·生活
GIS数据转换器4 小时前
城市基础设施安全运行监管平台
大数据·运维·人工智能·物联网·安全·无人机·1024程序员节
搞科研的小刘选手4 小时前
【云计算专题会议】第二届云计算与大数据国际学术会议(ICCBD 2025)
大数据·人工智能·物联网·5g·云计算·6g·智能通信
电商软件开发 小银4 小时前
微信生态新机遇:视频号推客模式助力商家突围
大数据·人工智能·twitter·系统开发·实体店转型·数字化经济·视频号推客模式
毕设源码-赖学姐5 小时前
【开题答辩全过程】以基于Hadoop的电商数据分析系统为例,包含答辩的问题和答案
大数据·hadoop·分布式·1024程序员节