老熟女激烈的高潮_日韩一级黄色录像_亚洲1区2区3区视频_精品少妇一区二区三区在线播放_国产欧美日产久久_午夜福利精品导航凹凸

咨詢熱線 ：
028-86922220

重慶分公司，新征程啟航

為企業提供網站建設、域名注冊、服務器等服務

Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建

這篇文章主要介紹“Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建”，在日常操作中，相信很多人在Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

創新互聯建站專注于河北網站建設服務及定制，我們擁有豐富的企業做網站經驗。 熱誠為您提供河北營銷型網站建設，河北網站制作、河北網頁設計、河北網站官網定制、成都微信小程序服務，打造河北網絡公司原創品牌,更為您提供河北網站排名全網營銷落地服務。

一、運行環境
CentOS 6.5
Spark 2.2.1
Hadoop 2.7.5
Java JDK 1.8
Scala 2.12.5

二、節點IP及角色對應關系

節點名 IP Spark角色 hadoop角色
hyw-spark-1 10.39.60.221 master、worker master
hyw-spark-2
 10.39.60.222 worker slave
hyw-spark-3 10.39.60.223 worker slave



三、基礎環境配置
undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined

四、jdk安裝（在hadoop用戶下執行）
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined

五、scala安裝（在hadoop用戶下執行）
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined

六、hadoop集群安裝（在hadoop用戶下執行）
undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined

  2.    

  3.         fs.defaultFS

  4.         hdfs://hyw-spark-1:9000

  5.     

  6.     

  7.         hadoop.tmp.dir

  8.         file:/usr/local/hadoop/tmp

  9.     

6.4.4、$vim hdfs-site.xml
將文件末尾修改為

  2.     

  3.         dfs.replication

  4.         3

  5.     

6.4.5、$vim mapred-site.xml
將文件末尾 修改為

  2.     

  3.         mapreduce.framework.name

  4.         yarn

  5.     



6.4.6、$vim yarn-site.xml
將文件末尾修改為

  3.     

  4.         yarn.nodemanager.aux-services

  5.         mapreduce_shuffle

  6.     

  7.     

  8.         yarn.resourcemanager.hostname

  9.         hyw-spark-1

  10.     

6.4.7、$vim slaves
添加如下內容
hyw-spark-1
hyw-spark-2
hyw-spark-3
6.4.8、拷貝文件到slave節點（總共7個文件）
$scp hadoop-env.sh yarn-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slave hadoop@hyw-spark-2:/usr/local/spark/etc/spark/
$scp hadoop-env.sh yarn-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slave hadoop@hyw-spark-3:/usr/local/spark/etc/spark/

6.5、啟動hadoop集群
6.5.1、格式化NameNode
在Master節點上，執行如下命令
$hdfs namenode -format
成功的話，會看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若為 “Exitting with status 1” 則是出錯。
6.5.2、啟動HDFS（NameNode、DataNode）
在Master節點上，執行如下命令
$start-dfs.sh
使用jps命令在Master上可以看到如下進程：
8757 SecondaryNameNode
7862 DataNode
7723 NameNode
8939 Jps
使用jps命令在兩個Slave上可以看到如下進程：
7556 Jps
7486 DataNode
6.5.3啟動Yarn（ResourceManager 、NodeManager）
在Master節點上，執行如下命令
$start-yarn.sh
使用jps命令在Master上可以看到如下進程：
9410 Jps
8757 SecondaryNameNode
8997 ResourceManager
7862 DataNode
9112 NodeManager
7723 NameNode
使用jps命令在兩個Slave上可以看到如下進程：
7718 Jps
7607 NodeManager
7486 DataNode
6.5.4通過瀏覽器查看HDFS信息
瀏覽器訪問http://10.39.60.221:50070，出現如下界面
Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建

七、spark安裝（在hadoop用戶下執行）
7.1、下載文件到/opt目錄下，解壓文件到/usr/local
$cd /opt
$sudo tar -xzvf spark-2.2.1-bin-hadoop2.7.tgz  -C /usr/local
$cd /usr/local
$sudo mv spark-2.2.1-bin-hadoop2.7/ spark
$sudo chown -R hadoop:hadoop spark

7.2、設置環境變量
$sudo vi /etc/profile
添加如下內容
export SPARK_HOME=/usr/local/spark
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
更新環境變量
source /etc/profile

7.3、配置文件修改
以下操作均在master節點配置，配置完成后scp到slave節點
$cd /usr/local/spark/conf
7.3.1、$cp spark-env.sh.template spark-env.sh
$vim spark-env.sh
添加如下內容
export JAVA_HOME=/opt/jdk1.8
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_IP=10.39.60.221
export SPARK_WORKER_MEMORY=1g
7.3.2、$cp slaves.template slaves
$vim slaves
添加如下內容
hyw-spark-1
hyw-spark-2
hyw-spark-3
7.3.3拷貝文件到slave節點
$scp -r spark-env.sh slaves hadoop@hyw-spark-2:/usr/local/spark/conf/
$scp -r spark-env.sh slaves hadoop@hyw-spark-3:/usr/local/spark/conf/

7.4、啟動spark
7.4.1、啟動Master節點
Master節點上，執行如下命令：
$start-master.sh
使用jps命令在master節點上可以看到如下進程：
10016 Jps
8757 SecondaryNameNode
8997 ResourceManager
7862 DataNode
9112 NodeManager
9832 Master
7723 NameNode
7.4.2、啟動worker節點
Master節點上，執行如下命令：
$start-slaves.sh
使用jps命令在三個worker節點上可以看到如下進程：
7971 Worker
7486 DataNode
8030 Jps

7.5、通過瀏覽器查看spark信息
瀏覽器訪問http://10.39.60.221:8080，出現如下界面
Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建





到此，關于“Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注創新互聯網站，小編會繼續努力為大家帶來更多實用的文章！


分享題目：Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建
URL鏈接：http://www.xueling.net.cn/article/ppisdi.html

其他資訊

在線咨詢
服務熱線
服務熱線：028-86922220
TOP
主站蜘蛛池模板： 成人午夜亚洲精品无码55 | 好大好硬好爽18禁视频 | 亚洲色欲久久久综合网 | 成年精品| 人妻VA精品VA欧美VA | 午夜秒播 | 国产精品色网 | 日本欧美v大码在线 | av超碰在线观看 | 91在线精品一区二区三区 | 欧美顶级METART裸体全部自慰 | 国产男女性潮高清免费网站 | 欧美亚洲国产成人一区二区三区 | 国内精品自在自线视频 | 91国产精品在线 | 国产佗精品一区二区三区 | 国产成人精品无码A区在线观看 | 精品国模一区二区三区 | 日韩在线中文高清在线资源 | 在线免费观看视频一区二区 | 精品久久久久久无码中文字幕一区 | 久久蜜臀一区二区三区av | 少妇私密spa按摸高潮了 | 国产成人免费高清AV | 日本免费影院 | 久久九九高潮毛片免费全部播放 | 少妇被躁爽到高潮无码麻豆AV | 久久人妻无码中文字幕 | 午夜激情307 | 国产天美传媒性色AV | 美女毛多水多做爰国产毛片小说 | 私人影院免费观看 | 在线观看亚洲欧美视频免费 | 成年人视频在线看 | 日本视频一二三区中文字幕 | 日本一区二区三区视频在线观看 | 亚洲AV高清在线观看一区二区 | 天天av天天好逼 | 九七av| 国产农村一级国产农村 | 久久精品国产av一区二区蜜臀 |