這篇文章主要為大家展示了“hadoop怎樣安裝與配置”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“hadoop怎樣安裝與配置”這篇文章吧。

成都創新互聯長期為上千家客戶提供的網站建設服務，團隊從業經驗10年，關注不同地域、不同群體，并針對不同對象提供差異化的產品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯網生態環境。為永安企業提供專業的網站設計制作、成都網站設計，永安網站改版等技術服務。擁有10余年豐富建站經驗和眾多成功案例,為您定制開發。

##1.hadoop簡介
hadoop有什么作用？應用于哪些領域？解決什么問題?
1.hadoop的三大核心組件
1>HDFS(分布式文件系統)，解決海量數據存儲。  
2>YARN(作業調度和集群資源管理)，解決資源任務調度問題。   3>MAPReduce(分布式變成模型) ， 解決海量數據計算問題。
2.hadoop應用領域
1>日志分析處理
2>ETL，數據抽取到MySQL、mongdb、hive等數據庫。
3>機器學習，如Apache Mahout項目，這個點目前比較火爆。
4>數據挖掘，其實就是數據分析，如智能推薦。
3.hadoop解決問題
舉例說明：需求方要求在100M的文件中統計分析出某些特殊字符的位置以及個數等，這個時候用java文件流的方式可以實現，去讀取這個文件，然后寫邏輯代碼分析統計。但是需求方如果給10個100M，或者是1w個100M的文件呢，這個時候就只能依靠一些大數據框架來處理了，hadoop應運而生，它解決的問題就是 海量數據存儲及海量數據分析。
##2.安裝hadoop
1.下載hadoop，官網地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.10.1/
2.解壓hadoop，tar -zxvf hadoop-2.10.1.tar.gz，如下圖

這里簡要說明下hadoop目錄結構
1>bin目錄，存放hadoop相關服務(hdfs、mapred、yarn)的操作腳本。
2>etc目錄，存放hadoop的配置文件，后面會大量修改這里配置文件
3>lib目錄，存放hadoop的本地庫，對數據進行壓縮與解壓功能
4>sbin目錄，存放hadoop所有服務的啟動或者停止腳本
5>share目錄，存放hadoop的依賴jar包，文檔與官方樣例
3.配置hadoop環境變量
vi /etc/profile
#hadoop環境變量 export HADOOP_HOME=/usr/java/hadoop/hadoop-2.10.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4.測試是否安裝成功
hadoop version

很明顯，出來了版本信息，說明環境變量配置沒得問題
5.修改hadoop配置文件
1>修改配置文件hadoop-env.sh
打開該配置文件，發現有一行是配置java環境變量的，初始值是${JAVA_HOME}，這里改成具體的jdk所在目錄。查看jdk安裝目錄采用echo $JAVA_HOME命令，

修改hadoop-env.sh之后，如下

2>修改配置文件core-site.xml
主要設置兩個屬性，1.HDFS的NameNode的地址；2.指定hadoop運行時產生的臨時文件目錄  

        
            fs.defaultFS
            hdfs://localhost:9090
        
        
            hadoop.tmp.dir
            /usr/java/hadoop/hadoop-2.10.1/tmp
        

修改后如下

3>修改hdfs-site.xml文件

主要設置3個屬性，1.namenode產生的文件存放路徑，2.datanode產生的文件存放路徑，3.replication表示HDFS保存數據副本的數量。

	
		dfs.namenode.name.dir
		file:/usr/java/hadoop/hadoop-2.10.1/hdfs/name
	
	
		dfs.datanode.data.dir
		file:/usr/java/hadoop/hadoop-2.10.1/hdfs/data
	
	
		dfs.replication
		1
	

4>修改配置文件mapred-site.xml

我們在hadoop目錄下沒有發現mapred-site.xml，但是有mapred-site.xml.template，如下圖

所以我們需要去掉 .template。采用mv mapred-site.xml.template mapred-site.xml。

該配置文件我們只設置一個屬性，用于指定mapreduce運行在yarn上，即mapreduce使用yarn框架。

	
		mapreduce.framework.name
		yarn
	

5>修改配置文件yarn-site.xml

主要配置是nodemanager獲取數據的方式是shuffle。

	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
		
	
		yarn.nodemanager.aux-services.mapreduce.shuffle.class
		org.apache.hadoop.mapred.ShuffleHandle
	

以上是“hadoop怎樣安裝與配置”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注創新互聯行業資訊頻道！