使用spark进行递归的可行方案

在实际工作中会遇到,最近有需求将产品炸开bom到底层,但是ERP中bom数据在一张表中递归存储的,不循环展开,是无法知道最底层原材料是什么。

在ERP中使用pl/sql甚至sql是可以进行炸BOM的,但是怎么使用spark展开,并且效率要不Oracle更高效的展开,是个问题。

展开方法

有以下步骤:

  1. 使用spark sql中sql直接递归展开:

优点:可行,且效率很快

缺点:一个sql炸到底层,无法添加在炸开过程中的逻辑管控

  1. 一层层的展开BOM,直到没有可以展开的物料为止

实际效果:

优点:可行,并可以在每一层进行管快

优缺点:本质上,并不是递归计算,而是过度有限循环的计算

与一些需求有冲突,比如原需求为递归计算,按照需求扣减现有量,是无法实现的

  1. 使用spark(scala)递归炸开bom:--实验中

具体步骤如下

1.使用spark sql展开bom

在Scala中,我们可以使用Spark SQL来执行递归查询。要使用Spark SQL进行递归查询,我们首先需要创建一个递归查询视图,然后在该视图中执行我们的查询操作。接下来,我们将介绍一个具体的示例来解释如何使用Spark SQL进行递归查询。

假设我们有一个部门表,其中包含部门的ID和上级部门的ID。我们想要查询一个部门的所有上级部门直到根部门的层级关系。以下是一个简化的部门表结构和数据:

CREATE TABLE department (
    department_id INT,
    parent_department_id INT
);

INSERT INTO department VALUES (1, NULL);
INSERT INTO department VALUES (2, 1);
INSERT INTO department VALUES (3, 2);
INSERT INTO department VALUES (4, 3);
INSERT INTO department VALUES (5, 3);
INSERT INTO department VALUES (6, NULL);
INSERT INTO department VALUES (7, 6);

我们可以使用Spark SQL来执行递归查询,查询部门ID为4的部门的所有上级部门:

sql 复制代码
import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
    .appName("Recursive Query")
    .master("local")
    .getOrCreate()

val departmentDF = spark.read
    .format("jdbc")
    .option("url", "jdbc:mysql://localhost:3306/test")
    .option("dbtable", "department")
    .option("user", "root")
    .option("password", "password")
    .load()

departmentDF.createOrReplaceTempView("department")

spark.sql("""
    WITH RECURSIVE department_hierarchy AS (
        SELECT department_id, parent_department_id
        FROM department
        WHERE department_id = 4
        UNION ALL
        SELECT d.department_id, d.parent_department_id
        FROM department_hierarchy dh
        JOIN department d ON dh.parent_department_id = d.department_id
    )
    SELECT *
    FROM department_hierarchy
""").show()

上述示例中,我们使用Spark SQL的WITH RECURSIVE语法来定义一个递归查询视图department_hierarchy。起始查询使用了WHERE子句来找到部门ID为4的部门,然后使用UNION ALL子句将递归部分与起始部分联接起来,直到找到根部门为止。最后,我们通过SELECT语句从递归查询视图中选择所需的列。

运行以上代码,我们可以得到结果如下:

sql 复制代码
+-------------+-------------------+
|department_id|parent_department_id|
+-------------+-------------------+
|            4|                  3|
|            3|                  2|
|            2|                  1|
|            1|               NULL|
+-------------+-------------------+

总结

本文中,我们介绍了如何使用Scala中的Spark SQL来执行递归查询。我们首先了解了递归查询的概念和用法,然后通过一个具体的示例演示了如何使用Spark SQL进行递归查询。通过使用Spark SQL的WITH RECURSIVE语法,我们可以方便地处理复杂的递归查询操作,从而更好地利用Spark处理大规模结构化数据。

参考文档如下:

相关推荐
东方巴黎~Sunsiny9 分钟前
如何评估Elasticsearch查询性能的具体指标?
大数据·elasticsearch·搜索引擎
2401_8712905824 分钟前
Scala的包及其导入
大数据·开发语言·scala
小伍_Five1 小时前
数据挖掘全景:从基础理论到经典算法的深度探索
大数据·数据挖掘·习题
武子康1 小时前
大数据-216 数据挖掘 机器学习理论 - KMeans 基于轮廓系数来选择 n_clusters
大数据·人工智能·机器学习·数据挖掘·回归·scikit-learn·kmeans
陈奕迅本讯1 小时前
ElasticSearch
大数据·elasticsearch·搜索引擎
Dreams°1231 小时前
【大数据测试 Elasticsearch — 详细教程及实例】
大数据·功能测试·elasticsearch·搜索引擎
liupenglove1 小时前
ElasticSearch向量检索技术方案介绍
大数据·人工智能·深度学习·elasticsearch·搜索引擎·自动驾驶
东方巴黎~Sunsiny1 小时前
Elasticsearch日志收集成功但是展示不出来????
大数据·elasticsearch·搜索引擎
黄焖鸡能干四碗2 小时前
【系统文档】系统安全保障措施,安全运营保障,系统应急预案,系统验收相关资料(word原件)
大数据·人工智能·需求分析·软件需求·规格说明书
B站计算机毕业设计超人2 小时前
计算机毕业设计Python+大模型动漫推荐系统 动漫视频推荐系统 机器学习 协同过滤推荐算法 bilibili动漫爬虫 数据可视化 数据分析 大数据毕业设计
大数据·爬虫·python·机器学习·课程设计·数据可视化·推荐算法