Spark读取Apollo配置

bash 复制代码
--conf 'spark.driver.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址' 

--conf 'spark.executor.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址'

在spark的提交命令中,增加如上两行,即可实现spark从apollo配置中心中读取自己的数据

Scala 复制代码
// 加载默认命名空间配置
val config = ConfigService.getAppConfig()
// 获取对应key的值
val value = config.getProperty(key, 默认值)

参看Apollo

相关推荐
wang_yb10 小时前
告别盲人摸象,数据分析的抽样方法总结
大数据·databook
dalalajjl11 小时前
每个Python开发者都应该试试知道创宇AiPy!工作效率提升500%的秘密武器
大数据·人工智能
2501_9416233219 小时前
人工智能赋能智慧农业互联网应用:智能种植、农业数据分析与产量优化实践探索》
大数据·人工智能
YangYang9YangYan20 小时前
网络安全专业职业能力认证发展路径指南
大数据·人工智能·安全·web安全
小五传输21 小时前
常用的文件摆渡系统:让数据安全高效跨越网络界限
大数据·运维·安全
数据科学小丫1 天前
数据分析与FineBI介绍
大数据·数据分析·finebi
ALex_zry1 天前
Git大型仓库推送失败问题完整解决方案
大数据·git·elasticsearch
二进制coder1 天前
Git Fork 开发全流程教程
大数据·git·elasticsearch
天硕国产存储技术站1 天前
DualPLP 双重掉电保护赋能 天硕工业级SSD筑牢关键领域安全存储方案
大数据·人工智能·安全·固态硬盘
雷文成.思泉软件1 天前
以ERP为核心、企微为门户,实现一体化集成
大数据·低代码·创业创新