hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
tingshuo29175 小时前
S001 【模板】从前缀函数到KMP应用 字符串匹配 字符串周期
笔记
西岸行者5 天前
学习笔记:SKILLS 能帮助更好的vibe coding
笔记·学习
starlaky5 天前
Django入门笔记
笔记·django
勇气要爆发5 天前
吴恩达《LangChain LLM 应用开发精读笔记》1-Introduction_介绍
笔记·langchain·吴恩达
悠哉悠哉愿意5 天前
【单片机学习笔记】串口、超声波、NE555的同时使用
笔记·单片机·学习
勇气要爆发5 天前
吴恩达《LangChain LLM 应用开发精读笔记》2-Models, Prompts and Parsers 模型、提示和解析器
android·笔记·langchain
qianshanxue116 天前
计算机操作的一些笔记标题
笔记
土拨鼠烧电路6 天前
笔记11:数据中台:不是数据仓库,是业务能力复用的引擎
数据仓库·笔记
土拨鼠烧电路6 天前
笔记14:集成与架构:连接孤岛,构建敏捷响应能力
笔记·架构
烟花落o6 天前
栈和队列的知识点及代码
开发语言·数据结构·笔记·栈和队列·编程学习