Spark读取Apollo配置

bash 复制代码
--conf 'spark.driver.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址' 

--conf 'spark.executor.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址'

在spark的提交命令中,增加如上两行,即可实现spark从apollo配置中心中读取自己的数据

Scala 复制代码
// 加载默认命名空间配置
val config = ConfigService.getAppConfig()
// 获取对应key的值
val value = config.getProperty(key, 默认值)

参看Apollo

相关推荐
黎阳之光8 分钟前
黎阳之光:数智技术赋能水利“平急两用” 筑牢水利工程安全防线
大数据·人工智能·算法·安全·数字孪生
ん贤25 分钟前
AI大模型落地系列:一文读懂 Eino 的 Memory 与 Session(持久化对话)
大数据·ai·golang·eino
做科研的周师兄33 分钟前
巴音河中下游灌溉草地空间分布数据集(2020年)
大数据·人工智能·算法·机器学习·数据挖掘·聚类
yhdata1 小时前
电脑提花机市场规模定格14.33亿元,数据锚定行业进阶新坐标
大数据·人工智能·电脑
SelectDB2 小时前
doris404发版
大数据·数据库·数据分析
SelectDB2 小时前
SelectDB search 函数
大数据·数据库·数据分析
算法-大模型备案 多米2 小时前
算法备案算法安全自评估报告模板(精简完善版)
大数据·网络·人工智能·算法·文心一言
Guheyunyi2 小时前
安全风险预警系统的核价值与战略意义
大数据·人工智能·科技·安全·信息可视化
云和数据.ChenGuang2 小时前
AI向量数据库chromadb的swagger-ui的运行使用教程
大数据·数据库·人工智能·ui·向量数据库·向量计算
历程里程碑3 小时前
链表--LRU缓存
大数据·数据结构·elasticsearch·链表·搜索引擎·缓存