【字节跳动】数据挖掘面试题0001:打车场景下POI与ODR空间关联查询

题目描述

打车的场景下, poi记录了建筑物的坐标:poi(pid, x, y), odr记录的是乘客上车点的坐标:odr(oid, x, y);

希望对所有的poi,获得其周围的100m的odr:结果(pid, oid)

打车场景下POI与ODR空间关联查询

在打车场景中,我们经常需要将建筑物坐标(POI)与乘客上车点(ODR)进行空间关联分析。这个问题本质上是一个空间连接(Spatial Join)问题,需要找到距离POI点100米范围内的所有ODR点。

空间距离计算方法

在处理坐标点距离时,我们需要考虑两种情况:

    1. 平面坐标(笛卡尔坐标)距离计算适用于小范围区域
    1. 地理坐标(经纬度)距离计算适用于地球表面大范围距离计算

下面分别提供这两种情况下的SQL解决方案:

平面坐标实现方案

假设x和y是平面坐标系中的坐标(如UTM(Universal Transverse Mercator)投影),可以使用欧几里得距离:

sql 复制代码
-- 平面坐标(笛卡尔坐标)下查找POI周围100米内的ODR
SELECT p.pid, o.oid
FROM poi p
JOIN odr o ON (
    -- 计算欧几里得距离
    SQRT(
        POW(p.x - o.x, 2) + 
        POW(p.y - o.y, 2)
    ) <= 100
)
地理坐标实现方案

如果x和y是经纬度坐标(度),需要使用Haversine公式计算球面距离

sql 复制代码
-- 地理坐标(经纬度)下查找POI周围100米内的ODR
-- 假设x为经度,y为纬度,单位为度
SELECT p.pid, o.oid
FROM poi p
JOIN odr o ON (
    -- Haversine公式计算球面距离(单位:米)
    6371 * 1000 * 2 * ASIN(
        SQRT(
            POW(SIN((p.y - o.y) * PI() / 360), 2) +
            COS(p.y * PI() / 180) * COS(o.y * PI() / 180) * 
            POW(SIN((p.x - o.x) * PI() / 360), 2)
        )
    ) <= 100
)
空间索引优化方案

上面的查询在数据量大时性能会较差,我们可以通过创建空间索引来优化:

sql 复制代码
-- 先为POI和ODR表创建空间索引
-- MySQL中使用MBRTree索引
CREATE SPATIAL INDEX idx_poi ON poi(ST_Point(x, y));
CREATE SPATIAL INDEX idx_odr ON odr(ST_Point(x, y));

-- 使用空间索引优化的查询
SELECT p.pid, o.oid
FROM poi p
JOIN odr o ON (
    -- 使用空间函数判断距离
    ST_Distance(ST_Point(p.x, p.y), ST_Point(o.x, o.y)) <= 100
)
分块索引优化策略
  • 对于超大规模数据集,可以采用分块索引策略提高查询效率!!!!!!
sql 复制代码
-- 1. 首先将区域划分为100m×100m的网格
WITH grid AS (
    SELECT 
        FLOOR(p.x / 100) * 100 AS grid_x,
        FLOOR(p.y / 100) * 100 AS grid_y,
        p.pid
    FROM poi p
),

-- 2. 为每个POI确定其所在网格及相邻网格
grid_with_neighbors AS (
    SELECT 
        g.pid,
        g.grid_x + dx * 100 AS neighbor_grid_x,
        g.grid_y + dy * 100 AS neighbor_grid_y
    FROM grid g
    CROSS JOIN (VALUES (-1, 0, 1)) dx(dx)
    CROSS JOIN (VALUES (-1, 0, 1)) dy(dy)
)

-- 3. 只查询POI所在网格及相邻网格内的ODR
SELECT gwn.pid, o.oid
FROM grid_with_neighbors gwn
JOIN odr o ON (
    FLOOR(o.x / 100) * 100 = gwn.neighbor_grid_x AND
    FLOOR(o.y / 100) * 100 = gwn.neighbor_grid_y AND
    SQRT(
        POW(gwn.grid_x + dx * 100 + 50 - o.x, 2) + 
        POW(gwn.grid_y + dy * 100 + 50 - o.y, 2)
    ) <= 100
)
不同数据库系统的实现差异

不同数据库处理空间数据的方式不同:

数据库系统 空间数据支持 距离计算函数
MySQL 通过MyISAM表支持空间索引 ST_Distance()
PostgreSQL 通过PostGIS扩展支持 ST_DistanceSphere()
Oracle 内置空间数据类型SDO_GEOMETRY SDO_GEOM.SDO_DISTANCE()
SQL Server 内置空间数据类型geometry ST_Distance()
实际应用建议
  1. 数据预处理:在存储时将经纬度转换为当地投影坐标系,提高距离计算精度和效率

  2. 索引策略

    • 对中小规模数据,使用数据库内置空间索引
    • 对超大规模数据,考虑使用分布式空间索引如S2、GeoHash
  3. 性能优化

    • 先通过空间索引过滤大部分无关数据,再进行精确距离计算
    • 对于实时性要求高的场景,可预先计算并缓存POI与ODR的空间关系
  4. 精度控制

    • 城市打车场景中,100米的误差范围通常是可以接受的
    • 如需更高精度,可将距离阈值缩小至50米或更小

通过上述方法,你可以高效地找到每个POI周围100米内的所有ODR上车点,为打车场景中的派单优化、热点分析等业务需求提供数据支持。

相关推荐
Yao.Li44 分钟前
PVN3D ORT CUDA Custom Ops 实现与联调记录
人工智能·3d·具身智能
诺伦1 小时前
LocalClaw 在智能制造的新机会:6部门AI+电商政策下的工厂AI升级方案
人工智能·制造
小陈工3 小时前
Python Web开发入门(十七):Vue.js与Python后端集成——让前后端真正“握手言和“
开发语言·前端·javascript·数据库·vue.js·人工智能·python
墨染天姬7 小时前
【AI】端侧AIBOX可以部署哪些智能体
人工智能
AI成长日志7 小时前
【Agentic RL】1.1 什么是Agentic RL:从传统RL到智能体学习
人工智能·学习·算法
2501_948114247 小时前
2026年大模型API聚合平台技术评测:企业级接入层的治理演进与星链4SAPI架构观察
大数据·人工智能·gpt·架构·claude
小小工匠7 小时前
LLM - awesome-design-md 从 DESIGN.md 到“可对话的设计系统”:用纯文本驱动 AI 生成一致 UI 的新范式
人工智能·ui
黎阳之光8 小时前
黎阳之光:视频孪生领跑者,铸就中国数字科技全球竞争力
大数据·人工智能·算法·安全·数字孪生
小超同学你好8 小时前
面向 LLM 的程序设计 6:Tool Calling 的完整生命周期——从定义、决策、执行到观测回注
人工智能·语言模型
2501_944934738 小时前
直播运营需要哪些数据分析能力?场观、停留、成交和投流怎么联动分析
数据挖掘·数据分析