hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
Pu_Nine_96 小时前
Axios 实例配置指南
前端·笔记·typescript·axios
hit56实验室7 小时前
腾讯云的运维笔记——从yum的安装与更新源开始
运维·笔记·腾讯云
再睡一夏就好8 小时前
浅谈new与::operator new
笔记
梅见十柒8 小时前
UNIX网络编程笔记:共享内存区和远程过程调用
linux·服务器·网络·笔记·tcp/ip·udp·unix
我命由我1234510 小时前
Word - Word 查找文本中的特定内容
运维·经验分享·笔记·word·运维开发·文档·文本
崔高杰10 小时前
大模型训练中对SFT和DPO的魔改——PROXIMAL SUPERVISED FINE-TUNING和Semi-online DPO论文阅读笔记
论文阅读·笔记
受之以蒙11 小时前
Rust & WebAssembly 实践:构建一个简单实时的 Markdown 编辑器
笔记·rust·webassembly
~黄夫人~12 小时前
Nginx Ubuntu vs CentOS 常用命令对照表---详解笔记
运维·笔记·学习·nginx·ubuntu·centos
ZZHow102413 小时前
React前端开发_Day10
前端·笔记·react.js·前端框架·web
会思考的猴子14 小时前
UE5 PCG 笔记(三) Normal To Density 节点
笔记·ue5