hive udf函数实现在sql查询网站价格

#背景#

日常公司大量同事使用sq查询统计数据,基于这个背景,上级要求可以在sql中通过传入必要参数,去查询公司网站上的符合一定条件的最低价,比如传入用户uid、入住日期、离店日期、酒店ID,能够返回符合条件的最低价

#思路#

1、通过调用公司网站接口,爬取相关条件数据,难点爬取相关数据后转为datafram,然后通过datafram过滤符合条件房型价格,最终返回最低价(解析网站数据结构相对较复杂)

2、用python编写udf,udf中读取sql传入参数,并调用1的方案,最终将返回值返回

相关推荐
http阿拉丁神猫2 小时前
Go语言入门笔记:从基础到开发环境搭建(二)
开发语言·笔记·golang
HRBorderInsight5 小时前
马来西亚人均收入一个月多少钱,个人薪资和家庭收入要分开看
经验分享·笔记
又見山7 小时前
本地 Markdown 与数据主权:你的笔记到底属于谁
笔记·obsidian
撩得Android一次心动8 小时前
Jetpack Compose 知识点整理2【个人用】
android·笔记·学习·kotlin·compose
cao23338 小时前
关于 x1 y1 等变量名冲突的指正(校对版)
笔记
Demons_kirit9 小时前
CTFHub 信息泄露通关笔记:Git泄露 Log - 教程
笔记·git·网络安全
xhyu6110 小时前
【学习笔记】图像质量评估方法 (5.生成图像是否符合用户要求)
笔记·学习·计算机视觉
2601_9611462011 小时前
实验室用等离子表面处理设备处理新能源汽车塑料件的一点记录
笔记·汽车·设备
知产xiao_xin11 小时前
专利主体及权利归属
经验分享·笔记·知识产权
学电子她就能回来吗11 小时前
LeetCode Hot 100|普通数组专题学习笔记(零基础版)
笔记·算法·leetcode