hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
李帅朋9 小时前
微分基本定义笔记
人工智能·笔记·深度学习·神经网络
xian_wwq12 小时前
【学习笔记】深度认知系列-第16讲-提示词工程
人工智能·笔记·学习
youm200313 小时前
认识Redis
redis·笔记·学习
亮工硬件13 小时前
1-11 STM32内部FLASH(数据掉电保存)
笔记·stm32·单片机·嵌入式硬件·学习
疯狂打码的少年16 小时前
【数据库技术】复习日:关系代数 + SQL + 规范化(整理对比表)
jvm·数据库·笔记·sql
维克兜率天16 小时前
【维克】特征归一化与标准化:为什么模型对数据的“尺度“很敏感?
人工智能·笔记·python·机器学习·量化
摇滚侠16 小时前
《SpringBoot 3:入门与应用实战》第 12 章 JDBC 与事务 使用 JdbcTemplate 阅读笔记 31
android·spring boot·笔记
金字塔頂の蝸牛17 小时前
商务日语口语全手册(一)
笔记·日语·语言·外语
从零开始的嵌入式之旅17 小时前
day36
linux·c语言·经验分享·笔记·嵌入式硬件
墨雨晨曦8819 小时前
2026/09/07笔记
笔记