大数据技术原理与应用 01.大数据概述

不可以垂头丧气,会显矮

------ 24.3.24

参考学习:厦门大学 林子雨老师 大数据技术原理与应用

一、大数据时代

大数据概念、影响、应用、关键技术

大数据与云计算、物联网的关系
①三次信息化浪潮时代

②第三次信息化浪潮的技术支撑

1>存储设备容量不断增加

2>企业数据越来越多

3>存储设备容量不断增加

4>CPU能力不断增加

5>网络带宽不断增加

③大数据的发展历程

二、大数据概念和影响

1.大数据的特性------4V

1>快速化

2>大量化

3>多样化

4>价值密度低

大数据是由结构化和非结构化的数据

结构化数据:存储在关系型数据库中的结构化数据

处理速度非常快

价值密度低,商业价值高

2.大数据的影响

在思维方式方面,大数据完全颠覆了传统的思维方式:

①全样而非抽样

大数据可以处理数据变大,不需要采用抽样方法

②效率而非精确

抽样计算的结果误差,放在全样上,会被放大

③相关而非因果

只需关注二者的相关性,不用追求因果性

三、大数据的应用

①业务流程优化

②监控身体情况

③智能医疗研发

④研发智能汽车

⑤实时掌控交通情况,改善日常生活

⑥金融交易

⑦理解满足客户需求

例如:

①影视剧的投拍有风险

②谷歌预测流感

四、大数据的关键技术

1.大数据技术的层次

两大核心技术:

①分布式存储 ②分布式处理

①分布式存储:

解决海量数据的存储问题

②分布式处理:

解决海量数据的处理问题

大数据技术以谷歌公司为代表

不同的计算模式需要使用不同的产品

2.大数据计算模式

1>批处理模式

MapReduce是批处理计算模式的典型代表 spark解决了迭代计算

2>流计算

流数据需要实时处理,给出实时响应,否则分析结果就会失去商业价值

3>图计算

代表软件:Google Pregel

4>查询分析计算

5>总结

五、云计算

1.大数据、云计算、物联网之间的关系

云计算解决了海量数据的分布式存储和分布式处理两个问题

1.云计算典型特征:

虚拟化 多租户

2.云计算的概念

云计算是通过网络以服务的方式为用户提供非常廉价的IT资源

3.云计算的优势

①企业不需要自建IT基础设施,可以利用云端资源

4.云计算的三种模式

公有云 混合云 私有云

5.三种云服务------Iaas、Paas、Saas

①Iaas------基础设置即服务

②Paas------平台即服务

③Saas------软件即服务

6.云计算的关键技术

①多租户

②虚拟化

③云计算数据中心

各种数据和应用位于数据中心里,数据中心含大量刀片服务器

数据中心建设地点要求:

数据中心建设在地质结构稳定的地方

数据中心建设在气候凉爽的地方

数据中心能耗非常大

应用:

六、物联网

1.物联网概念

物联网就是物物相连的互联网,是互联网的延伸

2.物联网层次架构

3.物联网应用

掌上智能公交是典型的物联网应用

4.物联网的关键技术

①识别技术

②感知技术

5.物联网的应用

6.大数据、物联网、云计算的关系

相关推荐
程途拾光15815 分钟前
绿色AI与低功耗推理架构
大数据·人工智能
G皮T19 分钟前
【Elasticsearch】查询性能调优(三):track_total_hits 和 terminate_after 可能的冲突
大数据·elasticsearch·搜索引擎·全文检索·索引·性能·opensearch
川西胖墩墩1 小时前
中文PC端跨职能流程图模板免费下载
大数据·论文阅读·人工智能·架构·流程图
TDengine (老段)1 小时前
TDengine 企业用户建表规模有多大?
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
Hello.Reader2 小时前
Flink ML MinMaxScaler 把特征缩放到统一区间 [min, max]
大数据·人工智能·flink
许泽宇的技术分享2 小时前
2025年度技术之旅:在AI浪潮下的个人突破、持续创作与平衡之道
大数据·人工智能
Sui_Network3 小时前
智能体支付时代:Sui 为 AI 构建可验证的金融基础设施
大数据·人工智能·游戏·金融·rpc·区块链·量子计算
GEO AI搜索优化助手3 小时前
生成式AI搜索的跨行业革命与商业模式重构
大数据·人工智能·搜索引擎·重构·生成式引擎优化·ai优化·geo搜索优化
武子康3 小时前
大数据-198 KNN 必须先归一化:Min-Max 正确姿势、数据泄露陷阱与 sklearn 落地
大数据·后端·机器学习
递归尽头是星辰3 小时前
Elasticsearch实战:检索优化、聚合分析与架构落地体系化
大数据·elasticsearch·架构·检索优化·聚合分析