重慶分公司,新征程啟航
為企業提供網站建設、域名注冊、服務器等服務
為企業提供網站建設、域名注冊、服務器等服務
執行如下命令,發現報錯
[hdfs@cdhm1 ~]$ hadoop distcp ftp://ftp01:ftppasswd@132.110.64.186/test hdfs:///user/data Error: java.net.SocketException: 網絡不可達 at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) at java.net.Socket.connect(Socket.java:589) at org.apache.commons.net.SocketClient.connect(SocketClient.java:171) at org.apache.commons.net.SocketClient.connect(SocketClient.java:192) at org.apache.hadoop.fs.ftp.FTPFileSystem.connect(FTPFileSystem.java:133) at org.apache.hadoop.fs.ftp.FTPFileSystem.getFileStatus(FTPFileSystem.java:405) at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:218) at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:50) at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
這是為什么呢?命令應該的正確的。
查網絡,正常,ftp也能正常傳輸。
防火墻,selinux都已經關閉,但就是執行報錯。
百思不得其解。
查了好多資料,才發現:
原來,hadoop官方不提供ftp接口!
只有個人開發的工具,感覺安裝挺麻煩,也許還會有bug,參考資料鏈接:
http://www.linuxidc.com/Linux/2013-01/78302.htm
我就沒安裝了,現在是先把文件從ftp下載到本地,在通過
[hdfs@cdhm1 ~]$ hadoop fs -put test /user/data
上傳到hadoop中,雖然麻煩點,但勝在穩定,后期也可通過腳本來簡化步驟。
另外有需要云服務器可以了解下創新互聯scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。