大数据集群离线解析经纬度逆编码地址

背景

最近有个需要需求把经纬度解析为地址,那么通常解析地址市面上流行的方案就是调取百度、高德地图的接口进行解析。

难点

但是在用这个方案遇到一个问题就是企业认证的百度地图每天的逆编码解析为300w次,qps为100次/秒,对于日增上千万的数据量需求来说,这个是远远不够的,并且需要sparkstreaming实时流处理数据,qps为2000次/秒,这么高的并发,调取接口查看远远是不够的。

解决方案

采用离线解析的形式进行解析地址,这个方案是理由每个城市的边界经纬度进行判断处理,调取高德地图的边界信息,到区的数据数据量大概是3000左右,预计每天更新一次就行。

接口解析与离线解析效果对比

两种方案各有利弊,追求准确度的话肯定是调用接口更好,其他方面的话离线解析更有优势。

相关推荐
你觉得2057 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙7 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊8 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清8 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
2401_871290589 小时前
MapReduce 的工作原理
大数据·mapreduce
SelectDB技术团队10 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
你觉得20510 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国11 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
Loving_enjoy11 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记11 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go