hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
和平宇宙6 小时前
AI笔记005. hermes-DeepSeek V4 Pro, 128K上下文引发的探索
前端·人工智能·笔记
十月的皮皮6 小时前
C语言学习笔记20260606- 求月份天数三种写法
c语言·笔记·学习
cmes_love6 小时前
Level 2逐笔成交历史数据下载方法笔记
数据库·笔记·oracle
Cloud_Shy6187 小时前
解读《Effective Python 3rd Edition》:从练气到老魔(第五章 Item 30 - 32)
开发语言·人工智能·笔记·python·学习方法
问心无愧05138 小时前
ctf show web入门110
前端·笔记
道一238 小时前
Windows系统查看端口占用进程的3种实用方法
windows·笔记
lunzi_08269 小时前
【学习笔记】《Python编程 从入门到实践》第8章:函数定义、参数传递与模块导入
笔记·python·学习
郭庆汝11 小时前
FastAPI使用笔记
笔记·fastapi
爱讲故事的12 小时前
计算机网络第七章:无线与移动网络复习笔记
网络·笔记·计算机网络
小陈phd12 小时前
Text2SQL智能体学习笔记(一)——NL2SQL及执行流程介绍
笔记·学习