2018年又有不少大數(shù)據(jù)學員學成準備參加工作了,在參加工作前最重要的一輪就是大數(shù)據(jù)的面試,這里準備了一些2018大數(shù)據(jù)面試題及答案,希望可以幫到準備或者正在參加大數(shù)據(jù)面試的朋友們。
1. Ganglia 不僅可以進行監(jiān)控,也可以進行告警。(正確)
分析:
此題的目的是考Ganglia的了解。嚴格意義上來講是正確。ganglia作為一款最常用的Linux環(huán)境中的監(jiān)控軟件,它擅長的的是從節(jié)點中按照用戶的需求以較低的代價采集數(shù)據(jù)。但是ganglia在預警以及發(fā)生事件后通知用戶上并不擅長。最新的ganglia已經有了部分這方面的功能。但是更擅長做警告的還有Nagios。Nagios,就是一款精于預警、通知的軟件。通過將Ganglia和Nagios組合起來,把Ganglia采集的數(shù)據(jù)作為Nagios的數(shù)據(jù)源,然后利用Nagios來發(fā)送預警通知,可以完美的實現(xiàn)一整套監(jiān)控管理的系統(tǒng)。
2. Block Size 是不可以修改的。(錯誤)
分析:
它是可以被修改的Hadoop的基礎配置文件是hadoop-default.xml,默認建立一個Job的時候會建立Job的Config,Config首先讀入hadoop-default.xml的配置,然后再讀入hadoop-site.xml的配置(這個文件初始的時候配置為空),hadoop-site.xml中主要配置需要覆蓋的hadoop-default.xml的系統(tǒng)級配置。
3. Nagios 不可以監(jiān)控 Hadoop 集群,因為它不提供 Hadoop 支持。(錯誤)
分析:
Nagios是集群監(jiān)控工具,而且是云計算三大利器之一
4. 如果 NameNode 意外終止,SecondaryNameNode 會接替它使集群繼續(xù)工作。(錯誤)
分析:
SecondaryNameNode是幫助恢復,而不是替代,如何恢復,可以查看。
5. Cloudera CDH 是需要付費使用的。(錯誤)
分析:
第一套付費產品是Cloudera Enterpris,Cloudera Enterprise在美國加州舉行的 Hadoop 大會 (Hadoop Summit) 上公開,以若干私有管理、監(jiān)控、運作工具加強 Hadoop 的功能。收費采取合約訂購方式,價格隨用的 Hadoop 叢集大小變動。
第二部分 選擇題
1. 下列哪個程序通常與 NameNode 在一個節(jié)點啟動?
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracke
答案D
此題分析:
hadoop的集群是基于master/slave模式,namenode和jobtracker屬于master,datanode和tasktracker屬于slave,master只有一個,而slave有多個SecondaryNameNode內存需求和NameNode在一個數(shù)量級上,所以通常secondary NameNode(運行在單獨的物理機器上)和NameNode運行在不同的機器上。
JbTracker和TaskTracker
JobTracker 對應于 NameNode
TaskTracker 對應于 DataNode
DataNode 和NameNode 是針對數(shù)據(jù)存放來而言的
JobTracker和TaskTracker是對于MapReduce執(zhí)行而言的
mapreduce中幾個主要概念,mapreduce整體上可以分為這么幾條執(zhí)行線索:obclient,JobTracker與TaskTracker。
1).JobClient會在用戶端通過JobClient類將應用已經配置參數(shù)打包成jar文件存儲到hdfs,并把路徑提交到Jobtracker,然后由JobTracker創(chuàng)建每一個Task(即MapTask和ReduceTask)并將它們分發(fā)到各個TaskTracker服務中去執(zhí)行。
2).JobTracker是一個master服務,軟件啟動之后JobTracker接收Job,負責調度Job的每一個子任務task運行于TaskTracker上,并監(jiān)控它們,如果發(fā)現(xiàn)有失敗的task就重新運行它。一般情況應該把JobTracker部署在單獨的機器上。
3).TaskTracker是運行在多個節(jié)點上的slaver服務。TaskTracker主動與JobTracker通信,接收作業(yè),并負責直接執(zhí)行每一個任務。TaskTracker都需要運行在HDFS的DataNode上。
2. Hadoop 作者
a)Martin Fowler
b)Kent Beck
c)Doug cutting
答案:C Doug cutting
3. HDFS 默認 Block Size
a)32MB
b)64MB
c)128MB
答案:B
(因為版本更換較快,這里答案只供參考)
4. 下列哪項通常是集群的最主要瓶頸?
a)CPU
b)網絡
c)磁盤IO
d)內存
答案:C磁盤
此題分析:
首先集群的目的是為了節(jié)省成本,用廉價的pc機,取代小型機及大型機。小型機和大型機有什么特點?
1.cpu處理能力強
2.內存夠大
所以集群的瓶頸不可能是a和d
3.網絡是一種稀缺資源,但是并不是瓶頸。
4.由于大數(shù)據(jù)面臨海量數(shù)據(jù),讀寫數(shù)據(jù)都需要io,然后還要冗余數(shù)據(jù),hadoop一般備3份數(shù)據(jù),所以IO就會打折扣。
5. 關于 SecondaryNameNode 哪項是正確的?
a)它是 NameNode 的熱備
b)它對內存沒有要求
c)它的目的是幫助 NameNode 合并編輯日志,減少 NameNode 啟動時間
d)SecondaryNameNode 應與 NameNode 部署到一個節(jié)點。
答案C
第三部分 多選題
1. 下列哪項可以作為集群的管理?
a)Puppet
b)Pdsh
c)Cloudera Manager
d)Zookeeper
答案:ABD
2. 配置機架感知的下面哪項正確?
a)如果一個機架出問題,不會影響數(shù)據(jù)讀寫
b)寫入數(shù)據(jù)的時候會寫到不同機架的 DataNode 中
c)MapReduce 會根據(jù)機架獲取離自己比較近的網絡數(shù)據(jù)
答案ABC
3. Client 端上傳文件的時候下列哪項正確?
a)數(shù)據(jù)經過 NameNode 傳遞給 DataNode
b)Client 端將文件切分為 Block,依次上傳
c)Client 只上傳數(shù)據(jù)到一臺 DataNode,然后由 NameNode 負責 Block 復制工作
答案B
該題分析:
Client向NameNode發(fā)起文件寫入的請求。
NameNode根據(jù)文件大小和文件塊配置情況,返回給Client它所管理部分DataNode的信息。
Client將文件劃分為多個Block,根據(jù)DataNode的地址信息,按順序寫入到每一個DataNode塊中。
4. Cloudera 提供哪幾種安裝 CDH 的方法?
a)Cloudera manager
b)Tarball
c)Yum
d)Rpm
答案:ABCD
以上就是小編整理的2018大數(shù)據(jù)面試題及答案準備或者是正在參加大數(shù)據(jù)的面試的朋友可以收藏一下多看看,做好充分的準備參加每一場的面試。
但是你答不上來的話那就是能力問題啦,需要補課的小伙伴看過來!