大数据集群离线解析经纬度逆编码地址

背景

最近有个需要需求把经纬度解析为地址,那么通常解析地址市面上流行的方案就是调取百度、高德地图的接口进行解析。

难点

但是在用这个方案遇到一个问题就是企业认证的百度地图每天的逆编码解析为300w次,qps为100次/秒,对于日增上千万的数据量需求来说,这个是远远不够的,并且需要sparkstreaming实时流处理数据,qps为2000次/秒,这么高的并发,调取接口查看远远是不够的。

解决方案

采用离线解析的形式进行解析地址,这个方案是理由每个城市的边界经纬度进行判断处理,调取高德地图的边界信息,到区的数据数据量大概是3000左右,预计每天更新一次就行。

接口解析与离线解析效果对比

两种方案各有利弊,追求准确度的话肯定是调用接口更好,其他方面的话离线解析更有优势。

相关推荐
Edingbrugh.南空39 分钟前
Flink Postgres CDC 环境配置与验证
大数据·flink
isNotNullX1 小时前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
小袁拒绝摆烂1 小时前
ElasticSearch快速入门-1
大数据·elasticsearch·搜索引擎
点控云2 小时前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zkmall4 小时前
企业电商解决方案哪家好?ZKmall模块商城全渠道支持 + 定制化服务更省心
大数据·运维·重构·架构·开源
随缘而动,随遇而安7 小时前
第八十八篇 大数据中的递归算法:从俄罗斯套娃到分布式计算的奇妙之旅
大数据·数据结构·算法
GISer_Jing8 小时前
Git协作开发:feature分支、拉取最新并合并
大数据·git·elasticsearch
IT_10249 小时前
Spring Boot项目开发实战销售管理系统——系统设计!
大数据·spring boot·后端
一只鹿鹿鹿11 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
聚铭网络12 小时前
案例精选 | 某省级税务局AI大数据日志审计中台应用实践
大数据·人工智能·web安全