hadoop面试题

一、 单项 选择题

1、目前,Hadoop的最高版本是哪个( A )

A、Hadoop3.x B、Hadoop2.x C、Hadoop4.x D、Hadoop1.x

2、大数据的4V特征是指? ( B )

A、数据量大(Volume)、类型繁多(Variety)、价值密度低(Value)、技术发展速度快(Velocity)

B、数据量大(Volume)、类型繁多(Variety)、价值密度低(Value)、处理速度快(Velocity)

C、数据量大(Volume)、类型繁多(Variety)、价值密度高(Value)、数据产生速度快(Velocity)

D、数据量大(Volume)、类型繁多(Variety)、价值密度低(Value)、数据变化速度快(Velocity)

3、HDFS有一个gzip文件大小75MB,客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时input split大小为?( D )

A、一个map读取64MB,另外一个map读取11MB

B、128MB C、64MB D、75MB

4、HDFS有一个LZO(with index)文件大小75MB,客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时input split大小为?( A )

A、一个map读取64MB,另外一个map读取11MB

B、64MB C、75MB D、128MB

5、关于SecondaryNameNode哪项是正确的? ( A )

A、它目的是帮助NameNode合并编辑日志,减少NameNode的负担和冷启动时的加载时间

B、它对内存没有要求 C、它是NameNode的热备

D、SecondaryNameNode应与NameNode部署到一个节点

6、把本地文件放到集群里,可以使用下面哪个hadoop shell的命令? ( C )

A、hadoop fs --put B、hadoop fs --push /

C、hadoop fs --put / D、hadoop -push /

7、如果想要修改集群的备份数量,可以修改下面哪个配置文件? ( C )

A、mapred-site.xml B、core-site.xml

C、hdfs-site.xml D、hadoop-env.sh

8、在Centos7中,如果想要查看本机的主机名可以使用下面哪个命令? ( B )

A、reboot B、hostname C、pwd D、tail

9、Hadoop-2.x集群中的HDFS的默认的副本块的个数是? ( A )

A、3 B、2 C、1 D、4

10、以下哪个不是HDFS的守护进程( C )

A、SecondaryNameNode B、NameNode C、MrappMaster/YarnChild D、DataNode

11、大数据至少为以下哪种存储量级? ( B )

A、EB B、PB C、TB D、ZB

12、关于HDFS集群中的DataNode的描述不正确的是? ( A )

A、一个DataNode上存储的所有数据块可以有相同的

B、存储客户端上传的数据的数据块

C、DataNode之间可以互相通信

D、响应客户端的所有读写数据请求,为客户端的存储和读取数据提供支撑

13、MapReduce的Shuffle过程以下中哪个操作是最后做的?( B )

A、排序 B、合并 C、分区 D、溢写

14、Hadoop起始于以下哪个阶段?( D )

A、2004年,Nutch的开发者开发了NDFS。

B、2004年,Google发表了关于MapReduce的论文。

C、2003年,Google发布了GFS论文。 D、2002年,Apach项目的Nutch。

15、下面哪个程序负责HDFS数据存储。( C )

A、NameNode B、Jobtracker C、Datanode D、tasktracker

16、配置机架感知的下面哪项正确?( C )

A、MapReduce会根据机架获取离自己比较近的网络数据

B、写入数据的时候会写到不同机架的DataNode

C、都正确 D、如果一个机架出问题,不会影响数据读写

17、下列关于HDFS的描述正确的是? ( A )

A、NameNode磁盘元数据不保存Block的位置信息

B、DataNode通过长连接与NameNode保持通信

C、HDFS集群支持数据的随机读写

D、如果NameNode宕机,SecondaryNameNode会接替它使集群继续工作

18、一个gzip文件大小75MB,客户端设置Block大小为64MB,请问其占用几个Block?( B )

A、3 B、2 C、4 D、1

19、按照所处理的数据形式和得到结果的时效性分类,大数据处理框架可以分为三类,以下系统中哪一项不是? ( B )

A、混合处理系统 B、分布式键值系统 C、批处理系统 D、流处理系统

20、关于大数据的价值密度描述正确的是以下哪个? ( A )

A、大数据由于其数据量大,所以其价值密度低。

B、大数据由于其数据量大,所以其价值也大。

C、大数据的价值密度是指其数据类型多且复杂。

D、大数据由于其数据量大,所以其价值密度高。

二、多

1、下面哪个组件可以在Hadoop集群中代替MR做一些计算? ( AC )

A、Spark B、Sqoop C、Hive D、Avro

2、大数据的计算模式主要有哪些? ( ABCD )

A、图计算模式 B、流计算模式 C、查询分析计算模式 D、批处理计算模式

3、Hadoop MapReduce对外提供了5个可编程组件,以下哪对中的方法或任务不全在这

5个编程组件中。( AB )

A、Partitioner和Combiner B、Split和Sort

C、InputFormat和OutputFormat D、Mapper和Reducer

4、YARN主要包含的模块有以下哪些?( ABC )

A、ApplicationMaster B、ResourceManager

C、NodeManager D、QuorumJournalManager

5、下面哪些是Hadoop 2.x的组件? ( ABC )

A、Spark B、Hive C、HBase D、GFS

6、Hadoop的三种安装模式包括以下哪种? ( BCD )

A、两分布式模式 B、完全分布式模式

C、伪分布模式 D、单机模式

7、VMware提供了哪几种工作模式?( ABD )

A、host-only仅主机模式 B、NAT模式

C、自定义除以上3种其他模式 D、桥接(bridged)模式

8、Hadoop集群具有以下哪个优点? ( ACD )

A、高容错性 B、高成本性 C、高可靠性 D、高扩展性

9、关于数据副本的存放策略正确的有些? ( ABCD )

A、第三个副本:与第一个副本相同机架的其他节点上;

B、更多副本:随机节点。

C、第一个副本,放置在上传文件的数据节点;

D、第二个副本,放置在与第一个副本不同的机架的节点上;

10、以下关于SSH免密码配置的描述正确的选项有哪个?( ABCD )

A、SSH专为远程登录会话和其他网络服务提供安全性的协议。

B、SSH是Secure Shell的缩写,则IETF的网络工作小组制定。

C、SSH是建立 在应用层和传输导上的安全协议。

D、使用SSH公钥登录可以解决Hadoop集群节点之前的通信略掉需要输入密码才能登录的步骤。

11、大数据采集中面临的主要问题有以下哪些? ( ABCD )

A、如何避免重复数据 B、数据源多种多样,数据量大、变化快

C、如何保证数据的质量 D、如何保证数据采集的可靠性

12、以下关于文件块的说法正确的是? ( ABCD )

A、文件的所有Block为了容错都会被冗余复制。

B、除了最后一个Block,所有的Block都是同样的大小。

C、每个文件的Block大小和复制(Replication)因子都是可配置的。

D、HDFS将文件存储成块序列。

13、MapRecue的优点有哪些?( ACD )

A、可扩展性强 B、计算机性能高 C、容错性强 D、开发简单

14、以下关于HDFS体系结构的描述正确的有哪几项?( ABCD )

A、NameNode作为主结点,用来管理文件系统的元数据(命名空间和访问操作等信息)。

B、DataNode作为从结点,用来管理存储的数据。

C、HDFS采用主从结构模型。

D、一个HDFS集群是由一个NameNode和若干个DataNode组成的。

15、HDFS中常用命令有下面哪些? ( ABCD )

A、hadoop fs --rm B、hadoop fs --ls

C、hadoop fs --mv D、hadoop fs --put

16、在新的Hadoop MapReduce框架YARN产生之前,MapReduce架构存在的问题有哪些?

( ABCD )

A、容易造成TaskTracker端内存溢出 B、JobTrack单点故障问题

C、JobTrack任务过重 D、容易造成资源浪费

17、常用的HDFS API有哪些? ( ABCD )

A、rename() B、copyFromLocalFile() C、mkdirs() D、delete()

18、以下关于序列化Writable的说法正确的是?( ABCD )

A、反序列化也称反串行化,它是指将字节流转回结构化对象的逆过程。

B、Hadoop中使用自己开发的类:IntWritable、FloatWritable、Text等,都是Writable的实现类。

C、序列化和反序列化在分布式数据处理中,主要于进程间通信和永久存储两个领域。

D、Writable接口是一个序列化对象的接口,能够将数据写入流或者从流中读出。

19、大数据关键技术包括哪些? ( ABCD )

A、大数据存储 B、大数据预处理 C、大数据采集 D、大数据分析挖掘

20大数据中常见的类型有哪些? ( ABCD )

A、视频 B、图片 C、音频 D、日志

三、判

1、Hadoop实现了一个分布式文件系统,简称HDFS。(

2、在大数据框架中,批处理系统一般不适用于对延时要示较高的场景。(

3、HDFS既适合超大数据集存储,也适合小数据集的存储。( × )

4、Hadoop下使用MapRecue。用户只要继承MapReduceBase,提供分别实现Map和Reduce的两个类,并注册Job即可自动分布式运行。(

5、我国的大数据产业政策一直在有序推进,工业和信息化部在2017年1月正式印发了《大数据产业发展规划》。(

6、HDFS为海量的数据提供了存储,而MapReduce为海量的数据提供了计算。(

7、Hadoop的框架最核心的设计就是:HDFS和MapReduce。(

8、HDFS以流的形式访问文件系统中的数据。(

9、HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。(

10、MapRecue在shuffle阶段基于排序的方法会将key相同的数据聚集在一起。(

四、填空题

1、( datanode )负责HDFS数据存储。

2、hadoop运行的模式有:单机模式 、( 伪分布模式 ) 、( 伪分布模式 )。

3、Hadoop集群搭建中常用的4个配置文件为core-site.xml 、( hdfs-site.xml )

、mapred-site.xml、( ,yarn-site.xml ) 。

4、一个HDFS集群包括两大部分,即 ( namenode ) 与( datanode )。

5、格式化HDFS系统的命令为:( hdfs namenode --format )。

6、hadoop创建多级目录(如:/a/b/c)的命令为( hadoop fs --mkdir --p /a/b/c )。

7、hadoop显示根目录命令为:( hadoop fs --lsr )。

8、hadoop包含的四大模块分别是: Hadoop common 、( HDFS ) 、( Mapreduce )、( yarn )。

9、( job )是客户端需要执行的一个工作单元。

10、map任务将其输出写入到( 本地磁盘 )。

11、reduce的输出通常存储在( HDFS ) 中以实现可靠存储。

12、大数据是由结构化和非结构化数据组成的。( 10% )的结构化数据,存储在数据库中,( 90% )的非结构化数据,它们与人类信息密切相关。

13、大数据关键技术两大核心技术是:( 分布式存储或(HDFS) )和( 分布式处理或(MapReduce) )。

五、简

  1. hdfs的体系结构是什么?

HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。

2、NameNode与SecondaryNameNode的区别与联系?

1)区别

(1)NameNode 负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的

数据块信息。

(2)SecondaryNameNode 主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。

2)联系:

(1)SecondaryNameNode 中保存了一份和 namenode 一致的镜像文件(fsimage)和编

辑日志(edits)。

(2)在主 namenode 发生故障时(假设没有及时备份数据),可以从 SecondaryNameNode

恢复数据。

3、hdfs文件写入的流程?

  1. Client向NameNode发起文件写入的请求。

  2. NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。

  3. Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

4、完全分布模式又有什么注意点?

完全分布模式通常被用于生产环境,这里我们使用N台主机组成一个Hadoop集群,Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机,Datanode运行的主机,以及task tracker运行的主机。在分布式环境下,主节点和从节点会分开。

5、MapReduce核心思想是什么?

分而治之:就是把一个复杂的问题,按照一定的"分解"方法分为等价的规模较小的若干部分,然后逐个解决,分别找出各部分的结果,把各部分的结果组成整个问题的结果

MapReduce是框架和平台,主要解决海量数据的计算,是目前分布式计算模型中应用较为广泛的一种

Map阶段:用于对原始数据进行处理

Reduce阶段:对map阶段数据进行汇总

部分任务不一定需要reduce阶段可能只有map阶段,map阶段产生的数据直接写入HDFS中

有map产生相关key的输出都会集中在到Reduce中处理,reduce是最终的处理过程,其结果不会进行二次处理。

Hadoop系统核心组件之一,它是一种可用于大数据并行处理的计算模型、框架。

6、Hadoop分布式集群,默认备份数为多少,每个数据块大小是多少?在哪个配置文件中可以修改备份数与每个数据块大小?

默认备份为3份,每块数据大小128M, 在hdfs-site.xml配置文件中可以修改备份数和数据块大小。

相关推荐
武子康31 分钟前
大数据-210 数据挖掘 机器学习理论 - 逻辑回归 scikit-learn 实现 penalty solver
大数据·人工智能·python·机器学习·数据挖掘·逻辑回归·scikit-learn
区块链蓝海1 小时前
机器人助力Bridge Champ游戏:1.4.2版本如何提升玩家体验
大数据·人工智能
A133038145363 小时前
虚拟户分账:电商资金管理的新曙光。
大数据
出发行进6 小时前
Spark的Standalone集群环境安装
大数据
spssau6 小时前
13类高频数据分析方法分类汇总
大数据·数据分析·论文·spss·spssau
小码哥呀7 小时前
RabbitMQ如何保证发送的消息可靠(RabbitMQ的Confirm模式和2.Return模式)
分布式·rabbitmq
小王毕业啦7 小时前
省级-农业科技创新(农业科技专利)数据(2010-2022年)
大数据·人工智能·科技·数据挖掘·数据分析·社科数据
数据要素X8 小时前
【数据仓库】Hive 拉链表实践
大数据·数据库·数据仓库·人工智能·hive·hadoop·安全
hummhumm8 小时前
Oracle 第26章:Oracle Data Guard
java·大数据·前端·数据库·后端·python·oracle
小强签名设计8 小时前
Flink CDC 同步 Mysql 数据
大数据·mysql·flink