大数据集群离线解析经纬度逆编码地址

背景

最近有个需要需求把经纬度解析为地址,那么通常解析地址市面上流行的方案就是调取百度、高德地图的接口进行解析。

难点

但是在用这个方案遇到一个问题就是企业认证的百度地图每天的逆编码解析为300w次,qps为100次/秒,对于日增上千万的数据量需求来说,这个是远远不够的,并且需要sparkstreaming实时流处理数据,qps为2000次/秒,这么高的并发,调取接口查看远远是不够的。

解决方案

采用离线解析的形式进行解析地址,这个方案是理由每个城市的边界经纬度进行判断处理,调取高德地图的边界信息,到区的数据数据量大概是3000左右,预计每天更新一次就行。

接口解析与离线解析效果对比

两种方案各有利弊,追求准确度的话肯定是调用接口更好,其他方面的话离线解析更有优势。

相关推荐
谁似人间西林客1 小时前
工业大数据实战:看中国智造如何用数据驱动效率革命
大数据·单例模式
2501_933670791 小时前
数学成绩偏弱是否能填报大数据专业
大数据
陆水A2 小时前
【实时数仓·3】Flink多表JOIN状态爆炸——Event Time Temporal JOIN + TTL分层治理
大数据·数据仓库·数据分析·flink·数据库开发·bigdata
INGNIGHT2 小时前
Flink 的三种一致性语义
大数据·flink·linq
湘美书院--湘美谈教育2 小时前
湘美谈教育AI经验集锦:有些东西,它们很难蒸馏
大数据·人工智能·深度学习·机器学习
xiaofj1002 小时前
reglock工作机制
大数据·安全
xixixi777772 小时前
空天地通信、高速光模块、AI 智能体攻击、同态加密芯片四大事件解读:AI 算力底座攻防与全域通信同步升级
大数据·人工智能·深度学习·ai·大模型·光模块·智能体
数据皮皮侠3 小时前
全国消协智慧 315 平台投诉信息数据库
大数据·人工智能·算法·百度·制造
2601_959481923 小时前
CPT Markets:把平台稳定性做到位——视角梳理与提示整理
大数据
ihuyigui3 小时前
国际商超零售短信接口
大数据·前端·后端·架构·零售