不可以垂头丧气,会显矮
------ 24.3.24
参考学习:厦门大学 林子雨老师 大数据技术原理与应用
一、大数据时代
大数据概念、影响、应用、关键技术
大数据与云计算、物联网的关系
①三次信息化浪潮时代②第三次信息化浪潮的技术支撑
1>存储设备容量不断增加
2>企业数据越来越多
3>存储设备容量不断增加
4>CPU能力不断增加
5>网络带宽不断增加
③大数据的发展历程
二、大数据概念和影响
1.大数据的特性------4V
1>快速化
2>大量化
3>多样化
4>价值密度低
大数据是由结构化和非结构化的数据
结构化数据:存储在关系型数据库中的结构化数据
处理速度非常快
价值密度低,商业价值高
2.大数据的影响
在思维方式方面,大数据完全颠覆了传统的思维方式:
①全样而非抽样
大数据可以处理数据变大,不需要采用抽样方法
②效率而非精确
抽样计算的结果误差,放在全样上,会被放大
③相关而非因果
只需关注二者的相关性,不用追求因果性
三、大数据的应用
①业务流程优化
②监控身体情况
③智能医疗研发
④研发智能汽车
⑤实时掌控交通情况,改善日常生活
⑥金融交易
⑦理解满足客户需求
例如:
①影视剧的投拍有风险
②谷歌预测流感
四、大数据的关键技术
1.大数据技术的层次
两大核心技术:
①分布式存储 ②分布式处理
①分布式存储:
解决海量数据的存储问题
②分布式处理:
解决海量数据的处理问题
大数据技术以谷歌公司为代表
不同的计算模式需要使用不同的产品
2.大数据计算模式
1>批处理模式
MapReduce是批处理计算模式的典型代表 spark解决了迭代计算
2>流计算
流数据需要实时处理,给出实时响应,否则分析结果就会失去商业价值
3>图计算
代表软件:Google Pregel
4>查询分析计算
5>总结
五、云计算
1.大数据、云计算、物联网之间的关系
云计算解决了海量数据的分布式存储和分布式处理两个问题
1.云计算典型特征:
虚拟化 多租户
2.云计算的概念
云计算是通过网络以服务的方式为用户提供非常廉价的IT资源
3.云计算的优势
①企业不需要自建IT基础设施,可以利用云端资源
4.云计算的三种模式
公有云 混合云 私有云
5.三种云服务------Iaas、Paas、Saas
①Iaas------基础设置即服务
②Paas------平台即服务
③Saas------软件即服务
6.云计算的关键技术
①多租户
②虚拟化
③云计算数据中心
各种数据和应用位于数据中心里,数据中心含大量刀片服务器
数据中心建设地点要求:
数据中心建设在地质结构稳定的地方
数据中心建设在气候凉爽的地方
数据中心能耗非常大
应用:
六、物联网
1.物联网概念
物联网就是物物相连的互联网,是互联网的延伸
2.物联网层次架构
3.物联网应用
掌上智能公交是典型的物联网应用
4.物联网的关键技术
①识别技术
②感知技术
5.物联网的应用
6.大数据、物联网、云计算的关系