七、大数据
第2关：大数据概念
任务描述
本关任务：根据相关知识内容完成右边选择题。
相关知识
为了完成本关任务，你需要掌握：
1.大数据的特征；
2.大数据的影响；
3.大数据的应用；
4.大数据产业；
5.高校大数据专业。
大数据的特征
大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
大数据的 4V 特点：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值）。"大数据"现如今已成为互联网和信息技术中的流行词，其指的是具有 1TB 以上，增长率高、类型多样且不能被传统软件工具所挖掘、处理的数据。大数据的潜在价值十分巨大，甚至被定义为"未来的新石油"。
Volume（大量）
大数据的显而易见的特征就是其庞大的数据规模。随着信息技术的发展，互联网规模的不断扩大，每个人的生活都被记录在了大数据之中，由此数据本身也呈爆发性增长。其中大数据的计量单位也逐渐发展，现如今对大数据的计量已达到 EB 了。
相关计量单位的换算关系:
单位 换算格式
Byte（字节） 1 Byte=1024 bit
KB（Kilobyte，千字节） 1 KB = 1024 Byte
MB（Megabyte，兆字节） 1 MB = 1024 KB
GB（Gigabyte，吉字节） 1 GB = 1024 MB
TB（Terabyte，太字节） 1 TB = 1024 GB
PB（Petabyte，拍字节） 1 PB = 1024 TB
EB（Exabyte，艾字节） 1 EB = 1024 PB
ZB（Zettabyte，泽字节） 1 ZB = 1024 EB
Variety（多样）
在数量庞大的互联网用户等因素的影响下，大数据的来源十分广泛。。生物大数据、交通大数据、医疗大数据、电信大数据、电力大数据、金融大数据等，都呈现出"井喷式"增长，所涉及的数据量十分巨大，已经从 TB 级别跃升到 PB 级别。各行各业，每时每刻，都在生成各种不同类型的数据。
大数据由因果关系的强弱可以分为三种，即结构化数据、非结构化数据、半结构化数据，它们统称为大数据。资料表明，结构化数据在整个大数据中占比较大，高达百分之七十五，但能够产生高价值的大数据却是非结构化数据。
Velocity（高速）
数据的增长速度和处理速度是大数据高速性的重要体现。在 Web2.0 应用领域，在 1min 内，新浪可以产生 2 万条微博，Twitter 可以产生 10 万条推文，Apple 可以产生下载 4.7 万次应用的数据，淘宝上可以卖出 6 万件商品，百度可以产生 90 万次搜索查询的数据，Facebook 可以产生 600 万次浏览量。大名鼎鼎的大型强子对撞机（LargeHadronCollider，LHC），大约每秒产生 6 亿次的碰撞，每秒生成约 700MB 的数据，同时有成千上万台计算机在分析这些碰撞的数据。
Value（价值）
大数据的核心特征是价值，其实价值密度的高低和数据总量的大小是成反比的，即数据价值密度越高数据总量越小，数据价值密度越低数据总量越大。任何有价值的信息的提取依托的就是海量的基础数据。当然目前大数据背景下有个未解决的问题，如何通过强大的机器算法更迅速地在海量数据中完成数据的价值提纯。价值密度低，商业价值高，以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值。
大数据的影响
1、大数据对科学研究的影响
在科学研究方面，大数据使得人类科学研究在经历了实验、理论、计算三种范式之后，迎来了第四种范式------数据。如下图：
2、大数据对社会发展的影响
大数据将会对社会发展产生深远的影响，具体表现在以下几个方面：大数据决策成为一种新的决策方式，大数据应用促进信息技术和各行业的深度融合，大数据开发推动新技术和新应用的不断涌现。
3、大数据对就业市场的影响
大数据的兴起使得数据科学家成为热门职业。
麦肯锡报告，到 2018 年，在"具有深入分析能力的人才"方面，美国面临着 14 万到 19 万的缺口，"可以利用大数据分析来做出有效决策的经理和分析师"缺口则会达到 150 万。
国内有大数据专家估算过，5 年内国内的大数据人才缺口会达到 130 万，以大数据应用较多的互联网金融为例，这一行业每年增速达到 4 倍，届时，仅互联网金融需要的大数据人才就是现在需求的 4 倍以上。
4、大数据对人才培养的影响
大数据的兴起将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。
一方面，数据科学家是一个需要掌握统计、数学、机器学习、可视化、编程等多方面知识的复合型人才，在中国高校现有的学科和专业设置中，上述专业知识分布在数学、统计和计算机等多个学科中，任何一个学科都只能培养某个方向的专业人才，无法培养全面掌握数据科学相关知识的复合型人才。
另一方面，数据科学家需要大数据应用实战环境，在真正的大数据环境中不断学习、实践并融会贯通，将自身技术背景与所在行业业务需求进行深度融合，从数据中发现有价值的信息，但是，目前大多高校还不具备这种培养环境，不仅缺乏大规模基础数据，也缺乏对领域业务需求的理解。鉴于上述两个原因，目前国内的数据科学家人才并不是由高校培养的，而主要是在企业实际应用环境中通过边工作边学习的方式不断成长起来的，其中，互联网领域集中了大多数的数据科学家人才。
大数据的应用
大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹。
1、电商领域
电商领域是大数据应用的最广泛的领域之一，比如精准广告推送，个性化推荐，大数据杀熟等都是大数据应用的例子，其中大数据杀熟已经被明令禁止。
2、传媒领域
传媒领域得益于大数据的应用，可以做到精准营销，直达目标客户群体。不仅如此，传媒领域在猜你喜欢，交互推荐上面也因为大数据的应用，而更加准确。
3、金融领域
金融领域也是大数据应用的重要领域，比如信用评估，利用的就是客户的行为大数据，根据客户的行为大数据，综合评估出客户端信用。
除此之外，金融领域里面的风险管控，客户细分，精细化营销也都是大数据应用的典型例子。
4、交通领域
交通领域应用大数据是与我们息息相关的，比如道路拥堵预测，可以根据司机位置大数据，准确判断哪里是拥堵的，进而给出优化出行路线。
还比如智能红绿灯，导航最优规划，这些也都是交通领域应用大数据的体现。
5、电信领域
电信领域也有大数据应用的身影，比如电信基站选址优化，就是利用了电信用户位置的大数据，还比如舆情监控，客户用户画像等，都是电信领域应用大数据的结果。
6、安防领域
大数据应用也可以应用到安防领域，比如犯罪预防，通过大量犯罪细节的数据进行分析、总结，从而得出犯罪特征，进而犯罪预防，还有天网监控等也是大数据应用的具体案例。
7、医疗领域
医疗领域应用大数据主要体现在智慧医疗，比如通过某种典型病例的大数据，可以得出该病例的最优疗法等。
除此之外，医疗领域大数据应用还体现在疾病预防，病源追踪等方面。
大数据产业
大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。
产业链环节 包含内容
IT基础设施层 包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数据中心解决方案的 IBM、惠普和戴尔等，提供存储解决方案的 EMC，提供虚拟化管理软件的微软、思杰、SUN、Redhat 等
数据源层 大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构）、交通大数据（交通主管部门）、医疗大数据（各大医院、体检机构）、政务大数据（政府部门）、电商大数据（淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微博、微信、人人网等）、搜索引擎大数据（百度、谷歌等）等各种数据的来源
数据管理层 包括数据抽取、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如 Hadoop 的 HDFS 和谷歌的 GFS）、ETL 工具（Informatica、Datastage、Kettle 等）、数据库和数据仓库（Oracle、MySQL、SQL Server、HBase、GreenPlum 等）
数据分析层 包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，比如，分布式计算框架 MapReduce、统计分析软件 SPSS 和 SAS、数据挖掘工具 Weka、数据可视化工具 Tableau、BI 工具（MicroStrategy、Cognos、BO）等等
数据平台层 包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品，比如阿里巴巴、谷歌、中国电信、百度等
数据应用层 提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或政府部门，比如交通主管部门、各大医疗机构、菜鸟网络、国家电网等
高校大数据专业
1、大数据专业的人才培养目标
大数据专业致力于培养符合国家战略及大数据产业发展需求，具备较好的数据素养和数理基础、扎实的编程基础以及大数据基础知识与技能，熟练掌握大数据采集、预处理、存储、处理、分析、应用技术，能够运用大数据思维、模型和工具解决实际问题的高级复合型人才。大数据专业的毕业生能在互联网企业、金融机构、科研院所、高等院校等从事大数据分析、挖掘、处理、服务、应用和研究工作，亦可从事各行业大数据系统的集成、设计、开发、管理、维护等工作，也适合在高等院校及科研院所的相关交叉学科继续深造。
2、毕业生就业岗位
如图所示：
3、大数据专业知识体系
从学科角度而言，大数据可以理解为一个跨多学科领域的，从数据中获取知识的科学方法、技术和系统的集合。因此，大数据专业知识体系涵盖了计算机、数学、统计学等多个学科领域，结合了诸多领域中的理论和技术，包括应用数学、统计学、模式识别、机器学习、人工智能、深度学习、数据可视化、数据挖掘、数据仓库、分布式计算、云计算、系统架构设计等。
从大数据分析角度而言（如图所示），典型的大数据分析过程包括：数据采集与预处理、数据存储与管理、数据处理与分析、数据可视化等。因此，大数据专业知识体系涵盖了数据采集与预处理技术、数据存储与管理技术、数据处理与分析技术、数据可视化技术等。同时，在分析过程中，对商业领域的业务知识也需要一定的理解。
4、大数据专业课程体系
数据专业课程体系涵盖通识教育课、学科基础课、专业基础课、专业核心课和专业课，具体如下：
（1）通识教育课：思政类课程、军体类课程、外语课、创新创业课等；
（2）学科基础课：高等数学、线性代数、概率论与数理统计等；
（3）专业基础课：程序设计、计算机系统基础及组成原理、离散数学、计算机网络、算法与数据结构、数据库系统、操作系统、软件工程等；
（4）专业核心课：大数据导论、网络爬虫与数据采集、数据清洗、数据库、数据可视化、分布式并行编程、机器学习等；
（5）专业课：云计算、数据安全、数据仓库、数据挖掘等。
5、大数据专业的编程语言
（1）C语言
C 语言是一门面向过程的计算机编程语言，与 C++、Java 等面向对象编程语言有所不同。C 语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、仅产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言。C 语言描述问题比汇编语言迅速、工作量小、可读性好、易于调试、修改和移植，而代码质量与汇编语言相当。C 语言一般只比汇编语言代码生成的目标程序效率低 10%～20%。因此，C 语言可以编写系统软件。C 语言在一些编程语言排行榜中长期排在第一的位置。
C 语言具有很多优点，主要如下：
1）它具有现代高级程序设计语言的基本语法特征，并且是编写操作系统的首选语言，与计算机硬件打交道时灵巧且高效，目前几乎所有的操作系统（如 Windows、Unix 和 Linux 等）均是由 C 语言编写的；
2）常用的面向对象程序设计语言（例如 C++ 和 Java），其基本语法源于 C 语言。C 语言甚至是其它编程语言的母语言，比如 Java 语言就是用 C 语言编写的。
3）简洁紧凑，灵活方便。C 语言一共只有 32 个关键字，9 种控制语句，程序书写自由，主要用小写字母表示，它把高级语言的基本结构和语句与低级语言的实用性结合了起来。
C 语言一般作为学习计算机程序设计语言的入门语言。
（2）C++
C++ 是 C 语言的继承，是一门以 C 为基础发展而来的、面向对象的高级程序设计语言，它既可以进行 C 语言的过程化程序设计，又可以进行以继承和多态为特点的面向对象的程序设计。C++ 不仅拥有计算机高效运行的实用性特征，同时还致力于提高大规模程序的编程质量与程序设计语言的问题描述能力。
C++ 的优点主要包括：
1）实现了面向对象程序设计，处理运行速度非常快，大部分的游戏软件都是由 C++ 来编写的。
2）语言非常灵活，功能非常强大。
3）非常严谨、精确和数理化，标准定义很细致。
4）语言的语法思路层次分明。
大数据领域的不少产品都是使用 C++ 开发的（即产品本身是由 C++ 编写的），包括一些 NoSQL 数据库（ScyllaDB、MongoDB、Aerospike、Kudu、SequoiaDB）、数据仓库 Impala、实时流计算框架 Hurricane 和 Heron、资源调度框架 Mesos 等。
但是，谈到大数据开发语言，C++ 要明显逊色于 Java，很多大数据应用程序（比如 Hadoop 程序等）都是使用 Java 开发的，而不是使用 C++。
（3）Java
Java 是目前最热门的编程语言之一，在一些编程语言排行榜中长期排在前三名。虽然 Java 没有和 R、Python 一样好的可视化功能，也不是统计建模的最佳工具，但是，如果需要建立一个庞大的应用系统，那么 Java 通常会是较为理想的选择。由于 Java 具有简单、面向对象、分布式、鲁棒、安全、体系结构中立、可移植、高性能、多线程以及动态性等诸多优良特性，因此，被大量应用于企业大型系统开发中，企业对于 Java 人才的需求一直比较旺盛。
Java 语言与大数据存在较为紧密的联系，Java 在大数据领域有着广泛的应用，是大数据应用程序开发的常用语言。作为大数据领域热门的大数据处理框架 Hadoop 和 Flink 等，其框架本身都是采用 Java 语言开发的，编写 Hadoop 应用程序也首选 Java 语言。而目前热门的分布式计算框架 Spark，也支持采用 Java 语言编写应用程序。
（4）Python
Python 是目前国内外很多大学里流行的入门语言，学习门槛低，简单易用，开发员可以使用 Python 来构建桌面应用程序和 Web 应用程序，此外，Python 在学术界备受欢迎，常被用于科学计算、数据分析和生物信息学等领域。Python 是最近几年发展最为迅速的编程语言，在一些编程语言排行榜当中甚至已经进入了前三名。
Python 的主要优点如下：
1）可以使用多种执行方式。可以直接在命令行执行相关命令，也可以用函数的方式执行相关命令，或者也可以用面向对象的方式执行相关命令。
2）语法简洁，且强制缩格，程序具有很好的可读性。
3）跨平台。支持多种开发平台，如 Windows、Linux、Mac OS X、Solaris 等。
4）面向对象。Python 既支持面向过程，又支持面向对象，这使得其编程更加灵活。
5）丰富的第三方库。Python 有丰富且强大的库，而且由于 Python 的开源特性，第三方库非常多，如 Web 开发、爬虫、科学计算等。
在数据分析领域，Python 是广受欢迎的编程语言，网络数据采集（比如网络爬虫）、数据清洗、数据分析与挖掘、数据可视化等环节，通常都使用 Python 语言编写程序。
（5）Scala
Scala 是一门类似Java的多范式语言，它整合了面向对象编程和函数式编程的最佳特性，具有诸多优点，主要包括以下几个方面：
1）具备强大的并发性，支持函数式编程，可以更好地支持分布式系统；
2）Scala 兼容 Java，可以与 Java 互操作；
3）Scala 代码简洁优雅；
4）Scala 支持高效的交互式编程；
5）Scala 是 Spark 的开发语言。
Spark 是当前热门的大数据处理技术，开发 Spark 应用程序时，首选编程语言是 Scala，因为 Spark 框架自身就是使用 Scala 语言开发的，用 Scala 语言编写 Spark 应用程序，可以获得最高的性能。Spark 的流行也迅速提升了 Scala 的影响力。流计算框架 Flink 的部分模块也是使用 Scala 语言开发的，也可以使用 Scala 语言编写 Flink 应用程序。
（6）R 语言
R 是专门为统计和数据分析开发的语言，具有数据建模、统计分析和可视化等功能，简单易上手。R 语言主要具有如下优点：
1）免费开源。R 的源代码可以自由下载使用，也有已编译的可执行文件版本可以下载。
2）简单易学。虽然 R 与其他程序设计语言相比结构相对松散，使用变量前不需要明确定义变量类型等，但是，仍然保留了程序设计语言的基础逻辑与自然的语言风格。
3）几乎兼容全部平台。除了支持 OS X、Linux、Windows 之外，甚至可以在 iOS 设备上编辑和运行R程序，还可以在 iPhone 等移动设备上安装R程序。
4）多领域的统计资源。学者和数据分析师开发了很多 R 语言包，涉及到统计的各个方面，资源很丰富。
5）出色的图形统计功能。除了基本统计直方图、折线图等，还可以绘制一些高级的图形，而这些是 SPSS 这类软件所不能匹敌的。
总体而言，R 和 Python 都是比较流行的数据分析语言。相对而言，数学和统计领域的工作者更多使用 R 语言，而计算机领域的工作者更多使用 Python。大数据处理框架 Spark 也提供了对 R 语言的支持。
编程要求
根据相关知识完成右侧选择题
有任何问题都可以随时关注私信！