大数据集群离线解析经纬度逆编码地址

背景

最近有个需要需求把经纬度解析为地址,那么通常解析地址市面上流行的方案就是调取百度、高德地图的接口进行解析。

难点

但是在用这个方案遇到一个问题就是企业认证的百度地图每天的逆编码解析为300w次,qps为100次/秒,对于日增上千万的数据量需求来说,这个是远远不够的,并且需要sparkstreaming实时流处理数据,qps为2000次/秒,这么高的并发,调取接口查看远远是不够的。

解决方案

采用离线解析的形式进行解析地址,这个方案是理由每个城市的边界经纬度进行判断处理,调取高德地图的边界信息,到区的数据数据量大概是3000左右,预计每天更新一次就行。

接口解析与离线解析效果对比

两种方案各有利弊,追求准确度的话肯定是调用接口更好,其他方面的话离线解析更有优势。

相关推荐
Guheyunyi31 分钟前
风险感知中枢:监测预警系统的架构与核心
大数据·运维·安全·重构·架构·自动化
正在走向自律39 分钟前
大数据背景下时序数据库选型指南:国产开源技术的突破与实践
大数据·开源·时序数据库
shinelord明2 小时前
【大数据技术实战】Kafka 认证机制全解析
大数据·数据结构·分布式·架构·kafka
文火冰糖的硅基工坊3 小时前
[创业之路-702]:“第三次”与“第四次工业革命”的范式跃迁
大数据·人工智能·科技·嵌入式硬件·架构·嵌入式·gpu
TDengine (老段)3 小时前
TDengine 数据函数 LN 用户手册
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
TDengine (老段)6 小时前
连接 TDengine 遇到报错 “failed to connect to server, reason: Connection refused” 怎么办?
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
攻城狮7号6 小时前
AI+大数据时代:如何从架构到生态重构时序数据库的价值?
大数据·人工智能·时序数据库·apache iotdb·sql大模型
TDengine (老段)6 小时前
内网搭建邮件服务,打通 TDengine IDMP 通知途径
大数据·时序数据库·tdengine
AI数据皮皮侠7 小时前
中国博物馆数据
大数据·人工智能·python·深度学习·机器学习
JAVA学习通7 小时前
SpringOJ竞赛项目----组件ElasticSearch
大数据·elasticsearch·搜索引擎