hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
码农的小菜园10 分钟前
提示工程学习笔记(一)
笔记·学习
四谎真好看12 分钟前
Redis学习笔记(高级篇3)
redis·笔记·学习·学习笔记
_李小白2 小时前
【OSG学习笔记】Day 49: 实战鼠标拾取与高亮显示
笔记·学习·计算机外设
Wyawsl2 小时前
keepalived高可用与负载均衡笔记
运维·笔记·负载均衡
chushiyunen2 小时前
obs studio软件、直播、视频录制笔记
笔记·音视频
sheeta19983 小时前
LeetCode 每日一题笔记 日期:2026.04.14 题目:2463.最小移动距离
笔记·算法·leetcode
阳光宅男@李光熠3 小时前
【电子通识】为什么PCB能短接还要用0Ω电阻?0欧电阻怎么做降额?
笔记·学习
Hammer_Hans3 小时前
DFT笔记40
笔记
我登哥MVP3 小时前
【Spring6笔记】 - 15 - Spring中的八大设计模式
java·spring boot·笔记·spring·设计模式·intellij-idea