大数据技术原理与应用 01.大数据概述

不可以垂头丧气,会显矮

------ 24.3.24

参考学习:厦门大学 林子雨老师 大数据技术原理与应用

一、大数据时代

大数据概念、影响、应用、关键技术

大数据与云计算、物联网的关系
①三次信息化浪潮时代

②第三次信息化浪潮的技术支撑

1>存储设备容量不断增加

2>企业数据越来越多

3>存储设备容量不断增加

4>CPU能力不断增加

5>网络带宽不断增加

③大数据的发展历程

二、大数据概念和影响

1.大数据的特性------4V

1>快速化

2>大量化

3>多样化

4>价值密度低

大数据是由结构化和非结构化的数据

结构化数据:存储在关系型数据库中的结构化数据

处理速度非常快

价值密度低,商业价值高

2.大数据的影响

在思维方式方面,大数据完全颠覆了传统的思维方式:

①全样而非抽样

大数据可以处理数据变大,不需要采用抽样方法

②效率而非精确

抽样计算的结果误差,放在全样上,会被放大

③相关而非因果

只需关注二者的相关性,不用追求因果性

三、大数据的应用

①业务流程优化

②监控身体情况

③智能医疗研发

④研发智能汽车

⑤实时掌控交通情况,改善日常生活

⑥金融交易

⑦理解满足客户需求

例如:

①影视剧的投拍有风险

②谷歌预测流感

四、大数据的关键技术

1.大数据技术的层次

两大核心技术:

①分布式存储 ②分布式处理

①分布式存储:

解决海量数据的存储问题

②分布式处理:

解决海量数据的处理问题

大数据技术以谷歌公司为代表

不同的计算模式需要使用不同的产品

2.大数据计算模式

1>批处理模式

MapReduce是批处理计算模式的典型代表 spark解决了迭代计算

2>流计算

流数据需要实时处理,给出实时响应,否则分析结果就会失去商业价值

3>图计算

代表软件:Google Pregel

4>查询分析计算

5>总结

五、云计算

1.大数据、云计算、物联网之间的关系

云计算解决了海量数据的分布式存储和分布式处理两个问题

1.云计算典型特征:

虚拟化 多租户

2.云计算的概念

云计算是通过网络以服务的方式为用户提供非常廉价的IT资源

3.云计算的优势

①企业不需要自建IT基础设施,可以利用云端资源

4.云计算的三种模式

公有云 混合云 私有云

5.三种云服务------Iaas、Paas、Saas

①Iaas------基础设置即服务

②Paas------平台即服务

③Saas------软件即服务

6.云计算的关键技术

①多租户

②虚拟化

③云计算数据中心

各种数据和应用位于数据中心里,数据中心含大量刀片服务器

数据中心建设地点要求:

数据中心建设在地质结构稳定的地方

数据中心建设在气候凉爽的地方

数据中心能耗非常大

应用:

六、物联网

1.物联网概念

物联网就是物物相连的互联网,是互联网的延伸

2.物联网层次架构

3.物联网应用

掌上智能公交是典型的物联网应用

4.物联网的关键技术

①识别技术

②感知技术

5.物联网的应用

6.大数据、物联网、云计算的关系

相关推荐
智恒百亿15 小时前
RTX 5090服务器全场景技术解析:极致算力的行业落地与价值赋能
大数据·人工智能·5090服务器
Flink_China15 小时前
抖音集团基于Paimon的流式数据湖应用实践
大数据·flink
liguojun202516 小时前
智慧文体旅系统选哪家?豆米跳跳十年技术沉淀支持源码交付
java·大数据·人工智能·物联网·1024程序员节
湘美书院--湘美谈教育16 小时前
湘美书院主理人:AI世代武侠小说的基本特征与蕴意
大数据·人工智能·深度学习·机器学习·生活
光锥智能16 小时前
AI应用WAIC“抢跑”:热闹是真,但差异化是假
大数据·人工智能
逸模16 小时前
多业态连锁,如何同步铺开各类门店
大数据·人工智能·笔记·工程·公装·连锁店
abcy07121317 小时前
flink 对齐与非对齐,窗口,状态state原理详解
大数据·flink
乐观的Terry17 小时前
5、发布系统-Git 集成
大数据·git·elasticsearch
真上帝的左手17 小时前
19. 大数据-概念
大数据·big data
法雅特吉他17 小时前
吉他日常保养完全指南:从环境参数到部位养护的系统化方案
大数据·经验分享·新媒体运营·学习方法·材质