hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
二进制怪兽23 分钟前
[总结] AI Agent工程师
笔记
张人玉1 小时前
图像处理函数与形态学操作笔记(含 Halcon 示例)
图像处理·人工智能·笔记·halcon
崇山峻岭之间1 小时前
C++ Prime Plus 学习笔记041
c++·笔记·学习
Lv11770082 小时前
Visual Studio中的字典
ide·笔记·c#·visual studio
LXS_3572 小时前
Day 16 C++提高之模板
开发语言·c++·笔记·学习方法
无名-CODING3 小时前
栈与队列学习笔记
java·笔记
NZT-483 小时前
C++基础笔记(二)队列deque,queue和堆priority_queue
java·c++·笔记
YJlio3 小时前
ZoomIt 学习笔记(11.7):安装与基础使用——演示/授课/录屏的神级放大镜
笔记·学习·intellij-idea
QT 小鲜肉4 小时前
【Linux命令大全】001.文件管理之chattr命令(实操篇)
linux·运维·服务器·笔记
阿蒙Amon5 小时前
JavaScript学习笔记:14.类型数组
javascript·笔记·学习