第一部分：Hadoop集群搭建

創(chuàng)新互聯(lián)公司是專業(yè)的欽南網(wǎng)站建設(shè)公司，欽南接單;提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作,網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行欽南網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

1. 安裝虛擬機(jī)Vmware

基礎(chǔ)的命令操作不細(xì)說(shuō)，比如什么是根目錄。。。。。

1.也可以從官網(wǎng)下載最新的VMware

2. 安裝Linux系統(tǒng)

2.1 本教程用的是Linux為CentOS-7-x86，在VMware點(diǎn)擊新建，安裝CentOS-7-x86。

2.2 安裝完成后，

進(jìn)入root用戶

開(kāi)啟網(wǎng)絡(luò)

cd /etc/sysconfig/network-scripts

ls

找到第一個(gè)，我的是ifcfg-ens33,

然后vi ifcfg-ens33

將里面的ONBOOT的值由no改為yes。

重啟網(wǎng)絡(luò)service network restart

然后ping baidu.com能ping通就好了，ctrl c停止。

如果輸入(ping baidu.com),能ping通，即可安裝成功。

然后 cd ~回到根目錄，安裝tools

yum search ifconfig

yum install net-tools.x86_64

查看ip

ifconfig

2.3用XShell遠(yuǎn)程登陸

1.新建

2.主機(jī)號(hào)為查到的ip

3.點(diǎn)擊確定，用root用戶登錄，即可成功。

(這時(shí)候就可以在XShell粘貼復(fù)制命令了)

3. 下載/安裝jdk

3.配置jdk

接下來(lái)的操作都在XSshell6上操作，可以直接復(fù)制。

以下操作從根目錄開(kāi)始(如果不知道當(dāng)前在哪里，先cd ~即可。

下載jdk

本文檔有所有所需要的資料，可以選擇性下載。(也可以官網(wǎng)可以自行下載)。

下載本文檔所需要的安裝包，xshell里點(diǎn)擊xftp(ctrl+Alt+F),可以直接把window里的文件傳到Linux里。

拖到根目錄下。

解壓jdk

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/

配置環(huán)境變量(還在根目錄)

[1 ] 打開(kāi)proflie文件

vi /etc/profile

[ 2] 將光標(biāo)移動(dòng)至文末(shift g可以到末尾)，按i進(jìn)入編輯模式，在文末添加以下內(nèi)容

export JAVA_HOME=/usr/local/jdk1.8.0_221

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[ 3] 按Esc鍵退出編輯，輸入 ：wq 保存并退出文件，執(zhí)行以下內(nèi)容使環(huán)境變量生效

source /etc/profile

[ 4] 檢查jdk是否安裝配置成功

java -version

出現(xiàn)java版本信息，則配置成功，例如

java version “1.8.0_221”

Java? SE Runtime Environment (build 1.8.0_221-b11)

Java HotSpot? 64-Bit Server VM (build 25.221-b11, mixed mode)

4. 配置Hadoop

4.配置Hadoop

[下載hadoop

本文檔有所有所需要的資料，可以選擇性下載。(也可以官網(wǎng)可以自行下載)。

下載本文檔所需要的安裝包，xshell里點(diǎn)擊xftp(ctrl+Alt+F),可以直接把window里的文件傳到Linux里。

拖到根目錄下。

解壓hadoop，解壓到哪個(gè)目錄可以自行選擇，但是要知道路徑，配置環(huán)境變量時(shí)需要

tar -zxvf hadoop-3.1.2.tar.gz -C /usr/local/

配置hadoop

[1 ] 配置環(huán)境變量

vi /etc/profile

按i進(jìn)入編輯模式，在文末添加

export HADOOP_HOME=/usr/local/hadoop-3.1.2

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按Esc退出編輯，輸入 :wq 保存并退出，執(zhí)行以下內(nèi)容使環(huán)境變量生效

source /etc/profile

[2 ] 配置hadoop-env.sh

切到/usr/local/hadoop-3.1.2/etc/hadoop目錄下(2-6同在此目錄下)

cd /usr/local/hadoop-3.1.2/etc/hadoop

進(jìn)入hadoop-env.sh

vi hadoop-env.sh

找到 limitations under the License. 在其下一行添加

export JAVA_HOME=/usr/local/jdk1.8.0_181

按Esc，輸入 :wq 保存并退出

[ 3] 配置core-site.xml，修改為以下內(nèi)容，其中第5行 zz 改為自己的主機(jī)名

fs.defaultFS

hdfs://zz:9000

hadoop.tmp.dir

/usr/local/hadoop-3.1.2/data

[4 ] 配置yarn-site.xml，修改為以下內(nèi)容，zz 均改為自己的主機(jī)名

yarn.resourcemanager.hostname

zz

yarn.resourcemanager.address

zz:8032

yarn.resourcemanager.scheduler.address

zz:8030

yarn.resourcemanager.resource-tracker.address

zz:8031

yarn.resourcemanager.admin.address

zz:8033

yarn.resourcemanager.webapp.address

zz:8088

yarn.nodemanager.aux-services

mapreduce_shuffle

[ 5] 配置hdfs-site.xml，修改為以下內(nèi)容

dfs.replication

1

[6] 配置mapred-site.xml，修改為以下內(nèi)容

mapreduce.framework.name

yarn

[7 ] 配置start-dfs.sh和stop-dfs.sh

切到/usr/local/hadoop-3.1.2/sbin目錄(7-8在此目錄)

cd /usr/local/hadoop-3.1.2/sbin

在start-dfs.sh，stop-dfs.sh第二行添加以下內(nèi)容，因?yàn)槭莚oot登錄的，不配置會(huì)出現(xiàn)錯(cuò)誤

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

[8 ] 配置start-yarn.sh，stop-yarn.sh，在第二行添加以下內(nèi)容

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

5. 設(shè)置免密鑰登錄

5.免密鑰登錄

[1 ] 創(chuàng)建公鑰/私鑰，一路回車

ssh-keygen -t rsa

[ 2] 創(chuàng)建authorized_keys文件并修改權(quán)限為600

cd ~/.ssh無(wú)錫婦科醫(yī)院排行 http://www.0510bhyy.com/

touch authorized_keys

chmod 600 authorized_keys

[ 3] 將公鑰追加到authorized_keys文件中

cat id_rsa.pub >> authorized_keys

嘗試能否免密登錄，能登陸就成功了，嘗試后，輸入exit退出

ssh 自己的主機(jī)名

6. 防火墻

6.防火墻

[ 1] 查看防火墻狀態(tài)

firewall-cmd --state

[ 2] 關(guān)閉防火墻

systemctl stop firewalld.service

[3 ] 禁止開(kāi)機(jī)時(shí)防火墻自啟

systemctl disable firewalld.service

7. 啟動(dòng)Hadoop

7.啟動(dòng)Hadoop

[ 1] 格式化hadoop，不要多次格式化，多次格式化會(huì)導(dǎo)致DataNode無(wú)法正常啟動(dòng)

hadoop namenode -format

[2] 啟動(dòng)&停止hadoop

start-all.sh

stop-all.sh

啟動(dòng)以后可以輸入jps，看有沒(méi)有下面這些進(jìn)程

[root@zz .ssh]# jps

8467 NodeManager

7860 NameNode

7973 DataNode

8589 Jps

8127 SecondaryNameNode

8351 ResourceManager

有的話就表示配置成功!

第二部分：用MapReduce解決數(shù)據(jù)排序

8. 搭建Hadoop-3.1.2-eclipse環(huán)境

9. 在eclipse上編譯MapReduce程序

10. 打包程序，創(chuàng)建測(cè)試文本

11. 應(yīng)用MapReduce進(jìn)行數(shù)據(jù)排序

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享文章：Hadoop3.1.2集群搭建及簡(jiǎn)單的排序，統(tǒng)計(jì)實(shí)現(xiàn)-創(chuàng)新互聯(lián)
標(biāo)題URL：http://www.xueling.net.cn/article/cdpjjp.html