重慶分公司,新征程啟航
為企業提供網站建設、域名注冊、服務器等服務
為企業提供網站建設、域名注冊、服務器等服務
本篇文章為大家展示了怎么解決java.io.IOException: Cannot obtain block length for LocatedBlock的問題,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
我們提供的服務有:成都網站設計、網站制作、外貿營銷網站建設、微信公眾號開發、網站優化、網站認證、李滄ssl等。為上千余家企事業單位解決了網站和推廣的問題。提供周到的售前咨詢和貼心的售后服務,是有科學管理、有技術的李滄網站制作公司
在hadoop測試集群運行job的過程中發現部分運行失敗,有Cannot obtain block length for LocatedBlock,使用hdfs dfs -cat ${文件}的時候也報這個錯,看過代碼后發現是文件未被正常關閉(flume傳到hdfs上的,可能由于Namenode長時間gc或者切換或者重啟會留下很多.tmp結尾的文件),為此,使用hadoop命令顯示處于打開狀態的文件,然后刪除這些文件:
hadoop fsck / -openforwrite | egrep -v '^\.+$' | egrep "MISSING|OPENFORWRITE" | grep -o "/[^ ]*" | sed -e "s/:$//" | xargs -i hadoop fs -rmr {};
然后重傳這些文件到hdfs。
上述內容就是怎么解決java.io.IOException: Cannot obtain block length for LocatedBlock的問題,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注創新互聯行業資訊頻道。