Spark读取Apollo配置

bash 复制代码
--conf 'spark.driver.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址' 

--conf 'spark.executor.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址'

在spark的提交命令中,增加如上两行,即可实现spark从apollo配置中心中读取自己的数据

Scala 复制代码
// 加载默认命名空间配置
val config = ConfigService.getAppConfig()
// 获取对应key的值
val value = config.getProperty(key, 默认值)

参看Apollo

相关推荐
大气层煮月亮13 分钟前
ERP-Agent 记忆系统优化方案
java·大数据·elasticsearch
灵途科技18 分钟前
灵途科技董事长李传文受聘华科大光电分会副会长,参与产业协同发展
大数据·科技
花间相见44 分钟前
【AI私人家庭医生day01】—— 项目介绍
大数据·linux·人工智能·python·flask·conda·ai编程
renhongxia11 小时前
人机智能体合作:承诺理论考虑
大数据·人工智能·深度学习·语言模型·自然语言处理·transformer
工頁光軍1 小时前
论文:面向长期存续的数字社会型智能体矩阵架构设计与演进研究
大数据·人工智能
倒流时光三十年1 小时前
Elasticsearch SearchRequest 构建备忘录
大数据·elasticsearch
llilian_161 小时前
国产铷原子钟 铷频标挑选指南 铷原子频标 国产铷钟
大数据·网络·功能测试·单片机·嵌入式硬件·测试工具
智慧景区与市集主理人1 小时前
巨有科技:文旅二消的增收密码,数智化让“一次游览”变“多次消费”
大数据·人工智能·科技
cy_cy0021 小时前
解析数字科技展厅的多元展示手段
大数据·科技·人机交互·交互·软件构建
听你说321 小时前
智慧照明赋能城市升级|中节能晶和科技EMC模式破解路灯节能改造长效难题
大数据·人工智能·科技