ETL背景介绍_1:数据孤岛仓库的介绍

1 ETL介绍

随着企业内客户数据大量的涌现，单个数据库已不再足够。为了储存这些数据，公司通常会建立多个业务部门组织的数据库来保存数据。比如，随着数据量的增长，公司通常可能会构建数十个独立运行的业务数据库，这些数据库具有不同的业务和用途。

这个就导致了数据孤岛 ，整个组织的数据被分散到各个地方。如下图所示：

为了解决数据分析领域的数据孤岛问题，通过工具或程序，将零散的数据，统一收集到一个位置进行"集中储存"，以便于"集中分析"。

将数据进行收集的任务，称为ETL。

ETL：Extract-Transform-Load，用来描述将数据从来来源端经过抽取、转换、加载至目的端的过程。

ETL一词较常用于数据仓库。

本质上：

1、专门的ETL软件：Kettle、DataX、Sqoop等；

2、使用代码编程完成：Python、Java等均可以完成ETL程序的开发。

逗号分隔符，也可以永其他字符作为分隔符。

json是储存和交换文本信息的语法，类似XML。它是Key-Value型的。例如：在这里插入代码片

json 复制代码

{
  "name": "张三",
  "age": 28,
  "city": "北京"
}

JSON（JavaScript Object Notation）本质上是一个字符串格式的数据表示方式，虽然它的结构类似于对象或字典，但传输和存储时都是以字符串的形式存在的。

XML（eXtensible Markup Language）是一种用于结构化数据存储与传输的标记语言，常用于配置文件、数据交换等场景。

xml 复制代码

<?xml version="1.0" encoding="UTF-8"?>
<person>
  <name>张三</name>
  <age>28</age>
  <city>北京</city>
</person>

结构化数据也称为行数据，是可以由一个二维表所描述的数据。
schema就是表结构，在schema的定义下，每一列，每一个位置，应该是什么类型的数据，表达的什么意义都是确定的。
常见的结构化数据：
① excel
② json不一定是结构化的，具体看json的内容。如果是简单的Key-Value就是结构化的（可以直接转成二维表）；如果是复杂嵌套的json，就不是结构化的。

完全没办法用二维表来描述。如图片、音频、视频等。
结构化、半结构化、非结构化描述的是一堆数据在一起后的类型。

本次案例，是处理一个零售公司的业务数据。这个公司是卖收银机（扫码腔）的，收银机结账后，将用户购买的信息通过网络发送到公司的后台，公司后台就会收集到非常多的用户购买的订单数据。

因此，我们需要做的是，将这个公司的业务数据，通过ETL任务，采集到Mysql以及文件储存中。

（1）json数据：订单业务数据，一笔订单的内含数据，如时间、价格、商品等，要采集到Mysql和csv中。

（2）mysql数据：后台数据库我们要采集的内容，如条码数据，如产地、重量；

（3）日志数据。

一、数据来源

二、存储目标

三、流程简述

总结：