记录使用Spark计算订单明细表销量排行榜的实现

一、引入相关依赖(版本很重要)

复制代码
<!--以下版本经过测试验证-->
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-core_2.12</artifactId>
	<version>3.5.3</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-sql_2.12</artifactId>
	<version>3.5.3</version>
</dependency>
<dependency>
	<groupId>io.netty</groupId>
	<artifactId>netty-all</artifactId>
	<version>4.1.58.Final</version>
</dependency>
<dependency>
	<groupId>org.codehaus.janino</groupId>
	<artifactId>janino</artifactId>
	<version>3.1.6</version>
</dependency>

二、实现Spark编码

  • ProductRanking.java

    public class ProductRanking {
    private Long skuId;
    private String goodsName;
    private Double totalQuantity;
    private Double totalSales;

    复制代码
      public ProductRanking(Long skuId, String goodsName, Double totalQuantity, Double totalSales) {
          this.skuId = skuId;
          this.goodsName = goodsName;
          this.totalQuantity = totalQuantity;
          this.totalSales = totalSales;
      }
    
      public Long getSkuId() {
          return skuId;
      }
    
      public void setSkuId(Long skuId) {
          this.skuId = skuId;
      }
    
      public String getGoodsName() {
          return goodsName;
      }
    
      public void setGoodsName(String goodsName) {
          this.goodsName = goodsName;
      }
    
      public Double getTotalQuantity() {
          return totalQuantity;
      }
    
      public void setTotalQuantity(Double totalQuantity) {
          this.totalQuantity = totalQuantity;
      }
    
      public Double getTotalSales() {
          return totalSales;
      }
    
      public void setTotalSales(Double totalSales) {
          this.totalSales = totalSales;
      }

    }

  • SparkJob.java

    public class SparkJob {
    public List<ProductRanking> getRanking(){
    // 初始化 SparkSession
    SparkSession spark = SparkSession.builder()
    .appName("Order Item Ranking")
    .master("local[*]") // 使用本地模式
    .getOrCreate();

    复制代码
          // MySQL JDBC 连接配置
          String jdbcUrl = "jdbc:mysql://localhost:3306/atest?useUnicode=true&characterEncoding=utf8&useSSL=false";
          Properties jdbcProps = new Properties();
          jdbcProps.put("user", "root");
          jdbcProps.put("password", "123456");
          jdbcProps.put("driver", "com.mysql.jdbc.Driver");
    
          // 设置查询条件:假设要查询 2023 年 1 月 1 日之后的订单
          String query = "(SELECT * FROM nasi_mts_trade_order_item ) AS order_item_filtered";
    
          // 从 MySQL 中读取符合条件的 order_item 表数据
          Dataset<Row> orderItemDF = spark.read()
                  .jdbc(jdbcUrl, query, jdbcProps);
    
          // 显示数据的前几行,检查数据是否加载正确

    // orderItemDF.show();

    复制代码
          // 统计每个商品的销量
          Dataset<Row> productRankingDF = orderItemDF.groupBy("sku_id", "goods_name")
                  .agg(
                          functions.sum("net_weight").alias("total_quantity"),
                          functions.sum(functions.col("net_weight").multiply(functions.col("goods_price"))).alias("total_sales")
                  )
                  .orderBy(functions.col("total_quantity").desc())  // 按销量降序排序
                  .limit(10);  // 获取销量前10名
    
          // 显示商品排名

    // productRankingDF.show();

    复制代码
          // 转换为 JSON 并映射为 Java 对象
          List<Row> rows = productRankingDF.collectAsList();
    
          // 将每一行映射为 com.cnnasi.erp.mts.spark.ProductRanking 对象
          List<ProductRanking> ra = rows.stream().map(row -> new ProductRanking(
                  row.getAs("sku_id"),
                  row.getAs("goods_name"),
                  row.getAs("total_quantity"),
                  row.getAs("total_sales")
          )).collect(Collectors.toList());
          log.info(JSONObject.toJSONString(ra));
          // 停止 SparkSession
          spark.stop();
          return ra;
      }

    }

相关推荐
希艾席帝恩1 小时前
拥抱智慧物流时代:数字孪生技术的应用与前景
大数据·人工智能·低代码·数字化转型·业务系统
Bar_artist1 小时前
离线智能破局,架构创新突围:RockAI与中国AI的“另一条车道”
大数据·人工智能
牛客企业服务3 小时前
2025校招AI应用:校园招聘的革新与挑战
大数据·人工智能·机器学习·面试·职场和发展·求职招聘·语音识别
鼠鼠我捏,要死了捏4 小时前
Spark Shuffle性能优化实践指南:提升大数据处理效率
性能优化·spark·shuffle
电商数据girl4 小时前
如何利用API接口与网页爬虫协同进行电商平台商品数据采集?
大数据·开发语言·人工智能·python·django·json
TDengine (老段)4 小时前
TDengine 中 TDgpt 异常检测的数据密度算法
java·大数据·算法·时序数据库·iot·tdengine·涛思数据
蚂蚁数据AntData4 小时前
DB-GPT 0.7.3 版本更新:支持Qwen3 Embedding和Reranker模型、支持知识库自定义检索策略等
大数据·开源·全文检索·数据库架构
暖苏5 小时前
python-异常(笔记)
大数据·开发语言·笔记·python·异常
松果财经8 小时前
外卖“0元购”退场后,即时零售大战才刚开始
大数据·人工智能
永洪科技8 小时前
永洪科技华西地区客户交流活动成功举办!以AI之力锚定增长确定性
大数据·人工智能·科技·数据分析·数据可视化