Spark读取Apollo配置

bash 复制代码
--conf 'spark.driver.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址' 

--conf 'spark.executor.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址'

在spark的提交命令中,增加如上两行,即可实现spark从apollo配置中心中读取自己的数据

Scala 复制代码
// 加载默认命名空间配置
val config = ConfigService.getAppConfig()
// 获取对应key的值
val value = config.getProperty(key, 默认值)

参看Apollo

相关推荐
markuszhang2 小时前
Elasticsearch 官网阅读之 Term-level Queries
大数据·elasticsearch·搜索引擎
Hello World......3 小时前
Java求职面试:从核心技术到大数据与AI的场景应用
大数据·java面试·技术栈·互联网大厂·ai服务
python算法(魔法师版)5 小时前
.NET NativeAOT 指南
java·大数据·linux·jvm·.net
星川皆无恙5 小时前
大模型学习:Deepseek+dify零成本部署本地运行实用教程(超级详细!建议收藏)
大数据·人工智能·学习·语言模型·架构
L耀早睡6 小时前
mapreduce打包运行
大数据·前端·spark·mapreduce
姬激薄6 小时前
MapReduce打包运行
大数据·mapreduce
计算机人哪有不疯的6 小时前
Mapreduce初使用
大数据·mapreduce
菜鸟冲锋号7 小时前
Flink SQL、Hudi 、Doris在数据上的组合应用
大数据·flink
尘世壹俗人7 小时前
hadoop.proxyuser.代理用户.授信域 用来干什么的
大数据·hadoop·分布式
元6338 小时前
Spark处理过程-案例数据清洗
spark