hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
夜流冰13 分钟前
工程师 - ADC的Gain和offset
笔记
wdfk_prog44 分钟前
[Linux]学习笔记系列 -- [drivers][dma]stm32-dma
linux·笔记·学习
BlackWolfSky1 小时前
鸿蒙中级课程笔记13—应用/元服务上架
笔记·华为·harmonyos
mango_mangojuice1 小时前
Linux学习笔记(角色,权限管理)1.21
linux·笔记·学习
方见华Richard2 小时前
整数阶时间重参数化:基于自适应豪斯多夫维数的偏微分方程正则化新框架
人工智能·笔记·交互·原型模式·空间计算
舟舟亢亢2 小时前
JVM复习笔记——下
java·jvm·笔记
量子-Alex2 小时前
【大模型课程笔记】斯坦福大学CS336 课程环境配置与讲座生成完整指南
人工智能·笔记
土拨鼠烧电路3 小时前
笔记04:价值链深度游:追踪一包纸巾的“数字一生”
笔记
BlackWolfSky3 小时前
鸿蒙中级课程笔记12—应用质量建议与测试指南
笔记·华为·harmonyos
卖芒果的潇洒农民3 小时前
20260201 GPT VPC中的CIDR Block 概念
笔记·gpt