大数据技术原理与应用 01.大数据概述

不可以垂头丧气,会显矮

------ 24.3.24

参考学习:厦门大学 林子雨老师 大数据技术原理与应用

一、大数据时代

大数据概念、影响、应用、关键技术

大数据与云计算、物联网的关系
①三次信息化浪潮时代

②第三次信息化浪潮的技术支撑

1>存储设备容量不断增加

2>企业数据越来越多

3>存储设备容量不断增加

4>CPU能力不断增加

5>网络带宽不断增加

③大数据的发展历程

二、大数据概念和影响

1.大数据的特性------4V

1>快速化

2>大量化

3>多样化

4>价值密度低

大数据是由结构化和非结构化的数据

结构化数据:存储在关系型数据库中的结构化数据

处理速度非常快

价值密度低,商业价值高

2.大数据的影响

在思维方式方面,大数据完全颠覆了传统的思维方式:

①全样而非抽样

大数据可以处理数据变大,不需要采用抽样方法

②效率而非精确

抽样计算的结果误差,放在全样上,会被放大

③相关而非因果

只需关注二者的相关性,不用追求因果性

三、大数据的应用

①业务流程优化

②监控身体情况

③智能医疗研发

④研发智能汽车

⑤实时掌控交通情况,改善日常生活

⑥金融交易

⑦理解满足客户需求

例如:

①影视剧的投拍有风险

②谷歌预测流感

四、大数据的关键技术

1.大数据技术的层次

两大核心技术:

①分布式存储 ②分布式处理

①分布式存储:

解决海量数据的存储问题

②分布式处理:

解决海量数据的处理问题

大数据技术以谷歌公司为代表

不同的计算模式需要使用不同的产品

2.大数据计算模式

1>批处理模式

MapReduce是批处理计算模式的典型代表 spark解决了迭代计算

2>流计算

流数据需要实时处理,给出实时响应,否则分析结果就会失去商业价值

3>图计算

代表软件:Google Pregel

4>查询分析计算

5>总结

五、云计算

1.大数据、云计算、物联网之间的关系

云计算解决了海量数据的分布式存储和分布式处理两个问题

1.云计算典型特征:

虚拟化 多租户

2.云计算的概念

云计算是通过网络以服务的方式为用户提供非常廉价的IT资源

3.云计算的优势

①企业不需要自建IT基础设施,可以利用云端资源

4.云计算的三种模式

公有云 混合云 私有云

5.三种云服务------Iaas、Paas、Saas

①Iaas------基础设置即服务

②Paas------平台即服务

③Saas------软件即服务

6.云计算的关键技术

①多租户

②虚拟化

③云计算数据中心

各种数据和应用位于数据中心里,数据中心含大量刀片服务器

数据中心建设地点要求:

数据中心建设在地质结构稳定的地方

数据中心建设在气候凉爽的地方

数据中心能耗非常大

应用:

六、物联网

1.物联网概念

物联网就是物物相连的互联网,是互联网的延伸

2.物联网层次架构

3.物联网应用

掌上智能公交是典型的物联网应用

4.物联网的关键技术

①识别技术

②感知技术

5.物联网的应用

6.大数据、物联网、云计算的关系

相关推荐
cd_949217213 分钟前
让市场“随时买得到、卖得掉” 深澜量化探索流动性服务专业化
大数据·区块链
whcyhhh44 分钟前
头歌实践教学平台:数据科学与大数据技术导论(五)
大数据·数据库·python
风途科技~1 小时前
路面温度监测站:红外遥感测温不接触路面,免维护长期连续监测
大数据·人工智能
YHHLAI1 小时前
从「跑分」到「干活」:Benchmark 与 GPT 5.6 的两种叙事
大数据·前端·人工智能·react.js·前端框架
xiaopai9451 小时前
WPS工程项目台账的技术边界:从数据记录到业务协同的失效分析
大数据·wps·建米软件·工程项目台账
美狐美颜sdk1 小时前
从开发角度分析直播APP:视频美颜SDK接入过程中的技术难点
大数据·人工智能·音视频·美颜sdk·美颜api
美狐美颜SDK开放平台1 小时前
直播APP源码如何实现美颜功能?视频美颜SDK开发方案详解
android·大数据·人工智能·计算机视觉·直播美颜sdk
CallFay云起未来1 小时前
2026电商客服机器人系统多少钱?从成本结构到AI客服选型的完整指南
大数据·人工智能·机器人
EAIReport1 小时前
字节Seedance 2.5深度解析:长时序4K视频生成技术突破与产业落地赋能
大数据·人工智能·音视频
深圳市益普科技有限公司2 小时前
mes厂家有哪些?从开发与二次开发灵活性看mes厂家的业务适配深度
大数据