Spark读取Apollo配置

bash 复制代码
--conf 'spark.driver.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址' 

--conf 'spark.executor.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址'

在spark的提交命令中,增加如上两行,即可实现spark从apollo配置中心中读取自己的数据

Scala 复制代码
// 加载默认命名空间配置
val config = ConfigService.getAppConfig()
// 获取对应key的值
val value = config.getProperty(key, 默认值)

参看Apollo

相关推荐
黄焖鸡能干四碗11 小时前
企业信息化建设总体规划设计方案
大数据·运维·数据库·人工智能·web安全
Daitu_Adam11 小时前
R语言——离群点检测应用
大数据·数据分析·r语言·数据可视化
阿里云大数据AI技术11 小时前
阿里云OpenLake及行业解决方案年度发布,助力千行百业Data+AI一体化融合
大数据
小松XXS13 小时前
elasticsearch面试八股文
大数据·elasticsearch·面试
哈哈很哈哈14 小时前
Spark核心Shuffle详解(一)ShuffleManager
大数据·分布式·spark
星川皆无恙15 小时前
电商机器学习线性回归:基于 Python 电商数据爬虫可视化分析预测系统
大数据·人工智能·爬虫·python·机器学习·数据分析·线性回归
字节跳动数据平台15 小时前
极氪汽车×火山引擎:AI数据专家“上岗”,注入“分钟级”数据洞察力
大数据
智慧化智能化数字化方案16 小时前
【精品资料鉴赏】873页5A级智慧景区信息化规划设计方案
大数据·智慧旅游·智慧景区·5a级智慧景区
孟意昶16 小时前
Spark专题-第二部分:Spark SQL 入门(8)-算子介绍-sort
大数据·数据仓库·sql·spark
芒克芒克16 小时前
基于完全分布式模式部署Hadoop(喂饭教程)
大数据·hadoop·分布式