大数据概论总结

三次信息化浪潮 :

信息技术的支撑 :

存储设备容量不断增加

CPU的处理能力不断提高

网络带宽不断增加

数据产生方式的变革促成大数据时代的来临

  1. 运营式系统阶段
  2. 用户原创内容
  3. 感知式系统阶段

大数据发展历程 :

分为三个阶段 :

大数据的概念 :

1 . 数据量大 :

  • 根据IDC作出的估测,数据一直都在以每年50%的速度增长,也就是说每两年就增长一倍(大数据摩尔定律)。
  • 人类在最近两年产生的数据量相当于之前产生的全部数据量
  • 预计到2020年,全球将总共拥有35ZB的数据量,相较于2010年,数据量将增长近30倍。

2 . 数据类型繁多

大数据是由结构化和非结构化数据组成的
大部分数据都是非结构话数据;
结构化数据 :

存储在关系型数据库中的结构化数据;


非结构化数据
如 : 图像,视频,等等

3 . 高处理速度

4 . 价值密度低,商业价值高

以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒,但是具有很高的商业价值。

大数据的影响

• 在社会发展方面:大数据决策逐渐成为一种新的决策方式,大数据应用有力促进了信息技术与各行业的深度融合,大数据开发大大推动了新技术和新应用的不断涌现。

• 在就业市场方面:大数据的兴起使得数据科学家成为热门职业。

• 在人才培养方面:大数据的兴起,将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。

大数据的应用 :

大数据无处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹。

大数据的关键技术 :

包含4个层次 :

其中最核心的两个技术层次 :

  1. 数据的存储与管理
  2. 数据处理与分析

两大技术 :

  1. 分布式存储
  2. 分布式处理


大数据的计算模式 :

不同的计算模式要使用不同的处理技术(产品) :

大数据计算模式及其代表产品 :

|-------------|-----------------|------------------------------------------------------------|
| 大数据计算模式 | 解决问题 | 代表产品 |
| 批处理计算 | 针对大规模数据的批量处理 | MapReduce、Spark等 |
| 流计算 | 针对流数据的实时计算 | Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等 |
| 图计算 | 针对大规模图结构数据的处理 | Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等 |
| 查询分析计算 | 大规模数据的存储管理和查询分析 | Dremel、Hive、Cassandra、Impala等 |

1 . 批处理

批处理主要解决针对大规模数据的批量计算,MapReduce是最具代表性的批处理技术;

spark对mapreduce进行了很多方面的优化 ;

批处理无法进行实时处理;

2 . 流计算

实时计算


3 . 图处理

解决图和网络数据的处理;

4 . 查询分析计算

针对超大规模的存储管理和查询分析;

大数据与云计算,物联网的关系

1.云计算

云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。

大数据与云计算、物联网的关系大数据与云计算、物联网的关系

云计算关键技术 :

包括虚拟化,分布式存储,分布式计算,多租户等

2.物联网

物联网是物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化和远程管理控制。

关键技术 :

物联网中的关键技术包括识别和感知技术(二维码、RFID、传感器等)、网络与通信技术、数据挖掘与融合技术等。

3 . 关系

云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系。

相关推荐
Natural_yz4 小时前
大数据学习09之Hive基础
大数据·hive·学习
Natural_yz4 小时前
大数据学习10之Hive高级
大数据·hive·学习
AI服务老曹4 小时前
建立更及时、更有效的安全生产优化提升策略的智慧油站开源了
大数据·人工智能·物联网·开源·音视频
Mephisto.java5 小时前
【大数据学习 | HBASE高级】storeFile文件的合并
大数据·sql·oracle·json·hbase·database
这样の我5 小时前
hbase集成phoenix
大数据·数据库·hbase
思通数据5 小时前
AI与OCR:数字档案馆图像扫描与文字识别技术实现与项目案例
大数据·人工智能·目标检测·计算机视觉·自然语言处理·数据挖掘·ocr
CoderJia程序员甲5 小时前
重学SpringBoot3-整合 Elasticsearch 8.x (三)使用Repository
java·大数据·spring boot·elasticsearch
东方巴黎~Sunsiny5 小时前
如何优化Elasticsearch的查询性能?
大数据·elasticsearch·搜索引擎
杭州的物联网专家6 小时前
涉密载体管控系统:DW-S402全方位守护信息安全的利器
大数据
guanpinkeji6 小时前
搭子小程序定制开发:全新找搭子之旅
大数据·小程序·小程序开发·小程序制作·找搭子·搭子小程序