重慶分公司
重慶分公司，新征程啟航
為企業提供網站建設、域名注冊、服務器等服務
Hadoop+Hbase+Zookeeper集群配置-創新互聯
系統版本： CentOS 7.3 最小化安裝
創新互聯建站服務項目包括囊謙網站建設、囊謙網站制作、囊謙網頁制作以及囊謙網絡營銷策劃等。多年來，我們專注于互聯網行業，利用自身積累的技術優勢、行業經驗、深度合作伙伴關系等，向廣大中小型企業、政府機構等提供互聯網行業的解決方案，囊謙網站推廣取得了明顯的社會效益與經濟效益。目前，我們服務的客戶以成都為中心已經輻射到囊謙省份的部分城市，未來相信會繼續擴大服務區域并繼續獲得客戶的支持與信任！軟件版本： Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9
集群規劃：
| 主機名 | IP |
| hadoop01 | 192.168.1.61 |
| hadoop02 | 192.168.1.62 |
| hadoop03 | 192.168.1.63 |
一、服務器初始配置 (所有服務器執行)
1、按集群規劃修改主機名及IP地址。
2、關閉防火墻
systemctl stop firewalld.service systemctl disable firewalld.service
3、關閉Selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config sed -i "s/SELINUXTYPE=targeted/#SELINUXTYPE=targeted/g" /etc/selinux/config
4、安裝yum源及軟件
yum install epel-release -y yum install yum-axelget -y yum install expect wget unzip bash-completion vim* -y echo "alias vi='vim'">>/etc/bashrc
5、添加host
echo " 192.168.1.61 hadoop01 192.168.1.62 hadoop02 192.168.1.63 hadoop03 ">>/etc/hosts
6、配置免密碼登錄
#在所有服務器執行以下操作 ssh-keygen #一路回車 #在hadoop01執行以下操作 cd /root/.ssh cat id_rsa.pub >>authorized_keys scp authorized_keys hadoop02:/root/.ssh #在hadoop02執行以下操作 cd /root/.ssh cat id_rsa.pub >>authorized_keys scp authorized_keys hadoop03:/root/.ssh #在hadoop03執行以下操作 cd /root/.ssh cat id_rsa.pub >>authorized_keys scp authorized_keys hadoop01:/root/.ssh scp authorized_keys hadoop02:/root/.ssh #驗證配置 #在任意服務器ssh其他服務器，是否可直接登錄
7、安裝JDK
cd /tmp #去官網下載jdk-8u131-linux-x64.rpm yum install jdk-8u131-linux-x64.rpm -y
8、添加系統變量
echo " export JAVA_HOME=/usr/java/jdk1.8.0_131 export PATH=\$PATH:\$JAVA_HOME/bin export HADOOP_HOME=/data/hadoop export PATH=\$PATH:\$HADOOP_HOME/bin export ZK_HOME=/data/zk export PATH=\$PATH:\$ZK_HOME/bin export HBASE_HOME=/data/hbase export PATH=\$PATH:\$HBASE_HOME/bin ">>/etc/profile
9、系統升級并重啟
yum update -y reboot
二、Zookeeper集群部署
1、下載安裝
#在所有服務器執行 mkdir /data cd /tmp wget https://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.9.tar.gz tar zxvf zookeeper-3.4.9.tar.gz mv zookeeper-3.4.9 /data/zk mkdir /data/zk/logs mkdir /data/zk/data chown -R root:root /data/zk
2、添加配置文件
#在所有服務器執行 cat >>/data/zk/conf/zoo.cfg<3、設置myid
#在hadoop01執行 echo "1" > /data/zk/data/myid #在hadoop02執行 echo "2" > /data/zk/data/myid #在hadoop03執行 echo "3" > /data/zk/data/myid4、添加開機啟動腳本并配置系統服務
echo "[Unit] Description=Zookeeper After=syslog.target network.target remote-fs.target nss-lookup.target [Service] Type=forking PIDFile=/data/zk/data/zookeeper_server.pid ExecStart=/data/zk/bin/zkServer.sh start ExecStop=/data/zk/bin/zkServer.sh stop [Install] WantedBy=multi-user.target ">>/usr/lib/systemd/system/zookeeper.service systemctl enable zookeeper.service systemctl start zookeeper.service systemctl status -l zookeeper.service5、驗證配置
#在任意服務器上執行 zkServer.sh status
三、Hadoop集群部署
1、下載安裝
cd /tmp wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz tar zxvf hadoop-2.8.0.tar.gz mv hadoop-2.8.0 /data/hadoop cd /data/hadoop/ mkdir tmp hdfs mkdir hdfs/name hdfs/tmp hdfs/data chown -R root:root /data/hadoop/2、修改/usr/hadoop/etc/hadoop/hadoop-env.sh
#修改第25行jdk環境變量 export JAVA_HOME=/usr/java/jdk1.8.0_131 #修改第33行，配置文件目錄位置 export HADOOP_CONF_DIR=/data/hadoop/etc/hadoop3、修改/usr/hadoop/etc/hadoop/core-site.xml,修改后文件如下：
hadoop.tmp.dir /data/hadoop/tmp true A base for other temporary directories. fs.default.name hdfs://192.168.1.61:9000 true io.file.buffer.size 131072 ha.zookeeper.quorum 192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181 4、修改/usr/hadoop/etc/hadoop/hdfs-site.xml，修改后文件如下：
dfs.replication 2 dfs.name.dir /data/hadoop/hdfs/name dfs.data.dir /data/hadoop/hdfs/data dfs.namenode.secondary.http-address 192.168.1.61:9001 dfs.webhdfs.enabled true dfs.permissions false 5、復制并修改/usr/hadoop/etc/hadoop/mapred-site.xml
cd /data/hadoop/etc/hadoop/ cp mapred-site.xml.template mapred-site.xmlmapreduce.framework.name yarn 6、修改/usr/hadoop/etc/hadoop/yarn-site.xml，修改后文件如下：
yarn.resourcemanager.address 192.168.1.61:18040 yarn.resourcemanager.scheduler.address 192.168.1.61:18030 yarn.resourcemanager.webapp.address 192.168.1.61:18088 yarn.resourcemanager.resource-tracker.address 192.168.1.61:18025 yarn.resourcemanager.admin.address 192.168.1.61:18141 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler 7、配置/usr/hadoop/etc/hadoop/slaves，修改后文件如下：
192.168.1.61 192.168.1.62 192.168.1.638、將Hadoop安裝文件夾復制到其他服務器
scp -r /data/hadoop hadoop02:/data scp -r /data/hadoop hadoop03:/data9、格式化HDFS文件系統
hadoop namenode -format
10、啟動hadoop集群
cd /data/hadoop/sbin/ ./start-all.sh #此命令會直接啟動所有節點，只在hadoop01服務器上執行即可11、驗證配置
#查看集群狀態 hadoop dfsadmin -report
通過頁面 http://192.168.1.61:50070/dfshealth.html 查看
四、Hbase集群部署
1、下載安裝
cd /tmp wget http://apache.fayea.com/hbase/1.3.1/hbase-1.3.1-bin.tar.gz tar zxvf hbase-1.3.1-bin.tar.gz mv hbase-1.3.1 /data/hbase chown -R root:root /data/hbase/2、修改/data/hbase/conf/hbase-env.sh,修改后文件如下：
#修改第27行jdk環境變量 export JAVA_HOME=/usr/java/jdk1.8.0_131 #修改第128行禁用自有Zookeeper export HBASE_MANAGES_ZK=false3、修改/data/hbase/conf/hbase-site.xml,修改后文件如下：
hbase.rootdir hdfs://192.168.1.61:9000/hbase hbase.cluster.distributed true hbase.zookeeper.quorum 192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181 hbase.master.port 16000 hbase.master.info.port 16010 4、修改/data/hbase/conf/regionservers,修改后文件如下：
192.168.1.61 192.168.1.62 192.168.1.635、復制Hadoop配置文件到hbase配置文件目錄下
cd /data/hbase/conf/ cp /data/hadoop/etc/hadoop/core-site.xml . cp /data/hadoop/etc/hadoop/hdfs-site.xml .6、將Hbase安裝文件夾復制到其他服務器
scp -r /data/hbase hadoop02:/data scp -r /data/hbase hadoop03:/data7、啟動Hbase集群
cd /data/hbase/bin/ ./start-hbase.sh #此命令會直接啟動所有節點，只在hadoop01服務器上執行即可8、驗證安裝
#進入shell hbase shell
通過頁面 http://192.168.1.61:16010 查看
集群配置全部完成！
另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。
網站名稱：Hadoop+Hbase+Zookeeper集群配置-創新互聯
當前網址：http://www.xueling.net.cn/article/cesccj.html
