大数据技术原理与应用 01.大数据概述

不可以垂头丧气,会显矮

------ 24.3.24

参考学习:厦门大学 林子雨老师 大数据技术原理与应用

一、大数据时代

大数据概念、影响、应用、关键技术

大数据与云计算、物联网的关系
①三次信息化浪潮时代

②第三次信息化浪潮的技术支撑

1>存储设备容量不断增加

2>企业数据越来越多

3>存储设备容量不断增加

4>CPU能力不断增加

5>网络带宽不断增加

③大数据的发展历程

二、大数据概念和影响

1.大数据的特性------4V

1>快速化

2>大量化

3>多样化

4>价值密度低

大数据是由结构化和非结构化的数据

结构化数据:存储在关系型数据库中的结构化数据

处理速度非常快

价值密度低,商业价值高

2.大数据的影响

在思维方式方面,大数据完全颠覆了传统的思维方式:

①全样而非抽样

大数据可以处理数据变大,不需要采用抽样方法

②效率而非精确

抽样计算的结果误差,放在全样上,会被放大

③相关而非因果

只需关注二者的相关性,不用追求因果性

三、大数据的应用

①业务流程优化

②监控身体情况

③智能医疗研发

④研发智能汽车

⑤实时掌控交通情况,改善日常生活

⑥金融交易

⑦理解满足客户需求

例如:

①影视剧的投拍有风险

②谷歌预测流感

四、大数据的关键技术

1.大数据技术的层次

两大核心技术:

①分布式存储 ②分布式处理

①分布式存储:

解决海量数据的存储问题

②分布式处理:

解决海量数据的处理问题

大数据技术以谷歌公司为代表

不同的计算模式需要使用不同的产品

2.大数据计算模式

1>批处理模式

MapReduce是批处理计算模式的典型代表 spark解决了迭代计算

2>流计算

流数据需要实时处理,给出实时响应,否则分析结果就会失去商业价值

3>图计算

代表软件:Google Pregel

4>查询分析计算

5>总结

五、云计算

1.大数据、云计算、物联网之间的关系

云计算解决了海量数据的分布式存储和分布式处理两个问题

1.云计算典型特征:

虚拟化 多租户

2.云计算的概念

云计算是通过网络以服务的方式为用户提供非常廉价的IT资源

3.云计算的优势

①企业不需要自建IT基础设施,可以利用云端资源

4.云计算的三种模式

公有云 混合云 私有云

5.三种云服务------Iaas、Paas、Saas

①Iaas------基础设置即服务

②Paas------平台即服务

③Saas------软件即服务

6.云计算的关键技术

①多租户

②虚拟化

③云计算数据中心

各种数据和应用位于数据中心里,数据中心含大量刀片服务器

数据中心建设地点要求:

数据中心建设在地质结构稳定的地方

数据中心建设在气候凉爽的地方

数据中心能耗非常大

应用:

六、物联网

1.物联网概念

物联网就是物物相连的互联网,是互联网的延伸

2.物联网层次架构

3.物联网应用

掌上智能公交是典型的物联网应用

4.物联网的关键技术

①识别技术

②感知技术

5.物联网的应用

6.大数据、物联网、云计算的关系

相关推荐
江畔独步23 分钟前
Flink TaskManager日志时间与实际时间有偏差
大数据·flink
TDengine (老段)37 分钟前
TDengine 选择函数 Last() 用户手册
大数据·数据库·sql·物联网·时序数据库·tdengine·涛思数据
TDengine (老段)2 小时前
TDengine 选择函数 First 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
沧海一粟青草喂马3 小时前
抖音批量上传视频怎么弄?抖音矩阵账号管理的专业指南
大数据·人工智能·矩阵
理智的煎蛋3 小时前
CentOS/Ubuntu安装显卡驱动与GPU压力测试
大数据·人工智能·ubuntu·centos·gpu算力
赵孝正4 小时前
GitLab 分支管理与 Push 问题全解析
大数据·elasticsearch·gitlab
嘉禾望岗5034 小时前
Yarn介绍与HA搭建
大数据·hadoop·yarn
小麦矩阵系统永久免费4 小时前
小麦矩阵系统:让短视频分发实现抖音快手小红书全覆盖
大数据·人工智能·矩阵
IT研究室5 小时前
大数据毕业设计选题推荐-基于大数据的国家药品采集药品数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
Lx3525 小时前
Hadoop性能瓶颈分析:从JVM到磁盘IO的全链路优化
大数据·hadoop