hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
gravity_w2 分钟前
UV常用命令总结
经验分享·笔记·uv
koo3641 小时前
pytorch深度学习笔记9
pytorch·笔记·深度学习
日更嵌入式的打工仔1 小时前
Ehercat代码解析中文摘录<9>
笔记·ethercat
看见繁华2 小时前
Linux 交叉编译实践笔记
linux·运维·笔记
im_AMBER3 小时前
Leetcode 99 删除排序链表中的重复元素 | 合并两个链表
数据结构·笔记·学习·算法·leetcode·链表
创作者mateo3 小时前
PyTorch 入门笔记配套【完整练习代码】
人工智能·pytorch·笔记
米汤爱学习3 小时前
stable-diffusion-webui【笔记】
笔记·stable diffusion
创作者mateo4 小时前
PyTorch 入门学习笔记(基础篇)一
pytorch·笔记·学习
hkNaruto4 小时前
【AI】AI学习笔记:关于嵌入模型的切片大小,实际的业务系统中如何选择
人工智能·笔记·学习
我的golang之路果然有问题5 小时前
积累的 java 找工作资源
java·笔记