Spark读取Apollo配置

bash 复制代码
--conf 'spark.driver.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址' 

--conf 'spark.executor.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址'

在spark的提交命令中,增加如上两行,即可实现spark从apollo配置中心中读取自己的数据

Scala 复制代码
// 加载默认命名空间配置
val config = ConfigService.getAppConfig()
// 获取对应key的值
val value = config.getProperty(key, 默认值)

参看Apollo

相关推荐
天辛大师11 分钟前
天辛大师谈人工智能时代,如何用AI研究历代放生劝善忏悔文
大数据·人工智能·随机森林·启发式算法
为儿打call25 分钟前
SparkSQL 广播超时排查:小表但是多分区 = BroadcastTimeout
大数据·spark
eastyuxiao34 分钟前
如何用思维导图拆解项目范围
大数据·人工智能·流程图
渣渣盟43 分钟前
Apache Flink物理分区算子全解析
大数据·flink·apache
小王毕业啦2 小时前
(1990-2024年)个股交易活跃度、个股换手率
大数据·人工智能·数据挖掘·数据分析·区块链·社科数据
N串2 小时前
2.7 公司内部的“阶级”是什么
大数据·人工智能
lizhihai_992 小时前
股市学习心得—商业航天10大核心材料供应商
大数据·人工智能·学习
app软件定制开发173770910723 小时前
世界杯应用开发的关键要点与注意事项
大数据·区块链
数智联AI团队3 小时前
AI员工时代已来:企业如何选择靠谱的“AI团队”实现降本增效?
大数据·人工智能
冯RI375II694873 小时前
2026年沙特SABER认证最新要求及注意事项
大数据