计算机毕业设计hadoop+spark+hive物流大数据分析平台 物流预测系统 物流信息爬虫 物流大数据 机器学习 深度学习

流程:

1.Python爬虫采集物流数据等存入mysql和.csv文件;

2.使用pandas+numpy或者MapReduce对上面的数据集进行数据清洗生成最终上传到hdfs;

3.使用hive数据仓库完成建库建表导入.csv数据集;

4.使用hive之hive_sql进行离线计算,使用spark之scala进行实时计算;

5.将计算指标使用sqoop工具导入mysql;

6.使用Flask+echarts进行可视化大屏实现、数据查询表格实现、含预测算法;

核心算法代码分享如下:

Scala 复制代码
package com.car.process

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Table01 {

  def main(args: Array[String]): Unit = {


    // 创建spark入口   读取hive的元数据  查询hive中ods层的表
    val hiveSession: SparkSession = SparkSession.builder()
      .appName("table01")
      .master("local")
      .config("spark.hadoop.hive.metastore.uris", "thrift://bigdata:9083")
      .enableHiveSupport()
      .getOrCreate();


    /**
     * insert overwrite table tables01
     * select province,count(1) num
     * from  ods_comments
     * group by province
     */

    // 网友分布中国地图
    val dataFrame: DataFrame = hiveSession.sql(
      """
        |select from_province,count(1) num
        |from  hive_chinawutong.ods_chinawutong
        |group by from_province
        |""".stripMargin)


    dataFrame.show()


    // 写入到mysql中
    dataFrame
      .write
      .format("jdbc")
      .option("url", "jdbc:mysql://bigdata:3306/hive_chinawutong?useSSL=false")
      .option("user", "root")
      .option("password", "123456")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("dbtable", "table01")
      .mode(SaveMode.Overwrite)
      .save()

  }

}
相关推荐
一键三联啊10 小时前
【GIT】错误集锦及解决方案
大数据·elasticsearch·搜索引擎
板凳坐着晒太阳10 小时前
Hive 删除分区语句卡死问题
数据仓库·hive·hadoop
长桥夜波10 小时前
【第十七周】机器学习笔记06
人工智能·笔记·机器学习
深栈10 小时前
机器学习:支持向量机
算法·机器学习·支持向量机
zy_destiny10 小时前
【工业场景】用YOLOv8实现人员打电话识别
人工智能·python·深度学习·yolo·机器学习·计算机视觉·目标跟踪
zzZ656511 小时前
PyTorch 实现 MNIST 手写数字识别全流程
pytorch·深度学习
武子康11 小时前
大数据-124 - Flink State:Keyed State、Operator State KeyGroups 工作原理 案例解析
大数据·后端·flink
吃果冻不吐果冻皮11 小时前
LLM 确定性推理
机器学习
Mr.Winter`11 小时前
深度强化学习 | 基于SAC算法的动态避障(ROS C++仿真)
人工智能·深度学习·神经网络·机器人·自动驾驶·ros·具身智能
东方芷兰11 小时前
LLM 笔记 —— 07 Tokenizers(BPE、WordPeice、SentencePiece、Unigram)
人工智能·笔记·深度学习·神经网络·语言模型·自然语言处理·nlp