大数据集群离线解析经纬度逆编码地址

背景

最近有个需要需求把经纬度解析为地址,那么通常解析地址市面上流行的方案就是调取百度、高德地图的接口进行解析。

难点

但是在用这个方案遇到一个问题就是企业认证的百度地图每天的逆编码解析为300w次,qps为100次/秒,对于日增上千万的数据量需求来说,这个是远远不够的,并且需要sparkstreaming实时流处理数据,qps为2000次/秒,这么高的并发,调取接口查看远远是不够的。

解决方案

采用离线解析的形式进行解析地址,这个方案是理由每个城市的边界经纬度进行判断处理,调取高德地图的边界信息,到区的数据数据量大概是3000左右,预计每天更新一次就行。

接口解析与离线解析效果对比

两种方案各有利弊,追求准确度的话肯定是调用接口更好,其他方面的话离线解析更有优势。

相关推荐
博闻录38 分钟前
以 “有机” 重构增长:云集从电商平台到健康生活社区的跃迁
大数据·重构·生活
nbsaas-boot2 小时前
收银系统优惠功能架构:可扩展设计指南(含可扩展性思路与落地细节)
java·大数据·运维
lingling0093 小时前
实验记录安全存储:生物医药科研的数字化基石
大数据·人工智能
优秘智能UMI3 小时前
私有化大模型架构解决方案构建指南
大数据·人工智能·深度学习·信息可视化·aigc
TDengine (老段)14 小时前
TDengine 转化类函数 TO_CHAR 用户手册
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
黄雪超14 小时前
Kafka——多线程开发消费者实例
大数据·分布式·kafka
ManageEngineITSM15 小时前
从混乱到秩序:IT服务管理如何重塑企业运营效率
大数据·人工智能·程序人生·职场和发展·itsm
青云交16 小时前
Java 大视界 -- 基于 Java 的大数据分布式存储在工业互联网数据管理与边缘计算协同中的创新实践(364)
java·大数据·边缘计算·工业互联网·分布式存储·paxos·数据协同
数据爬坡ing17 小时前
软件工程之可行性研究:从理论到实践的全面解析
大数据·流程图·软件工程·可用性测试