重慶分公司,新征程啟航
為企業(yè)提供網(wǎng)站建設(shè)、域名注冊、服務(wù)器等服務(wù)
為企業(yè)提供網(wǎng)站建設(shè)、域名注冊、服務(wù)器等服務(wù)
HDFS(NameNode)的聯(lián)盟:Federation,配置HDFS聯(lián)盟,多個NameNode節(jié)點(diǎn)同時存活,根據(jù)代理配置的路由規(guī)則處理客戶端不同的請求,實(shí)現(xiàn)負(fù)載均衡,同時也可以緩存更多的元信息,它與HA的區(qū)別在于,聯(lián)盟是多個NameNode都是active,可以存儲更多的元信息。
1、也有多個NameNode
2、跟HA的區(qū)別:這些NameNode都是active狀態(tài)
3、作用:
(1)緩存更多的元信息
(2)實(shí)現(xiàn)負(fù)載均衡
(1)規(guī)劃
NameNode:bigdata112 bigdata113
DataNode:bigdata114 bigdata115
(2)在bigdata112上配置安裝hadoop
(2.1)解壓
(2.2)配置hadoop-env.sh中的java環(huán)境
export JAVA_HOME=/training/jdk1.8.0_144
(2.3)配置core-site.xml
hadoop.tmp.dir
/training/hadoop-2.7.3/tmp
(2.4)配置mapred-site.xml
mapreduce.framework.name
yarn
(2.5)配置yarn-site.xml
(2.6)配置slaves
bigdata14
bigdata15
(2.7)配置hdfs-site.xml
dfs.nameservices
ns1,ns2
dfs.namenode.rpc-address.ns1
bigdata112:9000
dfs.namenode.http-address.ns1
bigdata112:50070
dfs.namenode.secondaryhttp-address.ns1
bigdata112:50090
dfs.namenode.rpc-address.ns2
bigdata113:9000
dfs.namenode.http-address.ns2
bigdata113:50070
dfs.namenode.secondaryhttp-address.ns2
bigdata113:50090
<!--副本-->
dfs.replication
2
dfs.webhdfs.enabled
true
<!--權(quán)限-->
dfs.permissions
false
(2.8)配置core-site.xml,增加路由規(guī)則
fs.viewfs.mounttable.xdl1.homedir
/home
fs.viewfs.mounttable.xdl1.link./movies
hdfs://bigdata114:9000/movies
fs.viewfs.mounttable.xdl1.link./mp3
hdfs://bigdata115:9000/mp3
fs.default.name
viewfs://xdl1
注意:如果路由規(guī)則太多,可以單獨(dú)創(chuàng)建一個xml文件(mounTable.xml)
(3)將112上的hadoop拷貝到113、114、115上
(4)對NameNode進(jìn)行格式化
在112和113兩個namenode節(jié)點(diǎn)上格式化hdfs namenode -format -clusterId xdl1
(5)啟動
在112上啟動Hadoopstart-all.sh
(6)在DataNode節(jié)點(diǎn)上創(chuàng)建響應(yīng)的目錄
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。