hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
xuhaoyu_cpp_java8 小时前
过滤器与监听器学习
java·经验分享·笔记·学习
LegendNoTitle8 小时前
计算机三级等级考试 网络技术 选择题考点详细梳理
服务器·前端·经验分享·笔记·php
Oll Correct10 小时前
实验八:验证以太网交换机的生成树协议STP
网络·笔记
_李小白10 小时前
【OSG学习笔记】Day 2: Hello Cow
笔记·学习
鹭天11 小时前
Langchain学习笔记
笔记·学习·langchain
GLDbalala11 小时前
GPU PRO 5 - 1.2 Reducing Texture Memory Usage by 2-Channel Color Encoding 笔记
笔记
IT199511 小时前
Docker笔记-对docker-compose.yml基本认识
笔记·docker·容器
猹叉叉(学习版)12 小时前
【系统分析师_知识点整理】 1.计算机系统
笔记·软考·系统分析师
CryptoPP13 小时前
开发者指南:构建实时期货黄金数据监控系统
大数据·数据结构·笔记·金融·区块链