Yarn shuffle OOM錯誤分析及解決是怎樣的，針對這個問題，這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

為棲霞等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及棲霞網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站制作、網(wǎng)站設(shè)計、外貿(mào)網(wǎng)站建設(shè)、棲霞網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

最近集群中一些任務(wù)經(jīng)常在reduce端跑出Shuffle OOM的錯誤，具體錯誤如下： 

 2015-03-09 16:19:13,646 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#14  
 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)  
 at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)  
 at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:167)  
 at java.security.AccessController.doPrivileged(Native Method)  
 at javax.security.auth.Subject.doAs(Subject.java:396)  
 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1550)  
 at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162) Caused by: java.lang.OutOfMemoryError: Java heap space  
 at org.apache.hadoop.io.BoundedByteArrayOutputStream.(BoundedByteArrayOutputStream.java:56)  
 at org.apache.hadoop.io.BoundedByteArrayOutputStream.(BoundedByteArrayOutputStream.java:46)  
 at org.apache.hadoop.mapreduce.task.reduce.InMemoryMapOutput.(InMemoryMapOutput.java:63)  
 at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.unconditionalReserve(MergeManagerImpl.java:297)  
 at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.reserve(MergeManagerImpl.java:287)  
 at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyMapOutput(Fetcher.java:411)  
 at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:341)  
 at org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:165)

Yarn shuffle OOM錯誤分析及解決 先看一下基本流程，map端進(jìn)行處理后將結(jié)果放在map端local路徑中，map端不斷心跳匯報給MRAppMaster，在適當(dāng)?shù)碾A段(另外可以寫一個流程說明)，reduce啟動，reduce發(fā)送心跳給MRAppMaster，獲取已經(jīng)結(jié)束的map task對象。之后對已經(jīng)結(jié)束的map進(jìn)程的數(shù)據(jù)進(jìn)行拉取俗稱Shuffle，拉取是通過Fetcher線程進(jìn)行的，隨后進(jìn)行sort。 有關(guān)的幾個重要參數(shù) ：

 public static final String SHUFFLE_INPUT_BUFFER_PERCENT = “mapreduce.reduce.shuffle.input.buffer.percent”;     默認(rèn)0.7

 public static final String SHUFFLE_MEMORY_LIMIT_PERCENT = “mapreduce.reduce.shuffle.memory.limit.percent”;     默認(rèn)0.25 

 public static final String SHUFFLE_MERGE_PERCENT = “mapreduce.reduce.shuffle.merge.percent”;     默認(rèn)0.66 

這個問題是在Fetcher過程中爆出的。首先解釋一下參數(shù)，第一個參數(shù)SHUFFLE_INPUT_BUFFER_PERCENT是指在總的HeapSize中shuffle占得內(nèi)存百分比我們總的HeapSize是1.5G，那大概Fetcher就是1.0G。 SHUFFLE_MEMORY_LIMIT_PERCENT是指的map copy過來的數(shù)據(jù)是放內(nèi)存中還是直接寫磁盤。 超過1.5G*0.7*0.25=250M的都放在磁盤中，其它開辟內(nèi)存空間，放在內(nèi)存中。

SHUFFLE_MERGE_PERCENT是指merge的百分比，超過這個百分比后停止fetcher，進(jìn)行merge，merge到磁盤中。 跑出OOM后，調(diào)了下jvm參數(shù)，獲取heapdump數(shù)據(jù)，根據(jù)MAT獲取以下數(shù)據(jù)。

數(shù)據(jù)如下： 

Yarn shuffle OOM錯誤分析及解決Yarn shuffle OOM錯誤分析及解決 首先發(fā)現(xiàn)整體的內(nèi)存并沒有到1.5G。其次，看了下內(nèi)存對象分布，byte數(shù)組占了很大比例，這也很正常，所有內(nèi)存中的buffer都是以byte數(shù)組形式出現(xiàn)的。在對比一下byte數(shù)組大小，大于900M，這就有一個問題了，首先整體HeapSize是1.5G，old區(qū)大概是1個G，這時候如果byte數(shù)組是900M來一個100M+的拷貝，由于是大內(nèi)存開辟，不會進(jìn)入Young區(qū)，直接開辟內(nèi)存空間到Old區(qū)，而Old區(qū)即使fullgc也沒有那么多連續(xù)空間，所以分配失敗，報OOM錯誤。這時，只是一個假設(shè)，調(diào)整Xmn參數(shù)，減小Young區(qū)內(nèi)存大小，增大Old區(qū)進(jìn)行測試，成功，印證了想法。 

但是對于我們跑任務(wù)調(diào)整jvm參數(shù)畢竟不現(xiàn)實，那么我們根據(jù)經(jīng)驗調(diào)整SHUFFLE_INPUT_BUFFER_PERCENT參數(shù)就可以了，調(diào)整為0.6即可解決問題。

關(guān)于Yarn shuffle OOM錯誤分析及解決是怎樣的問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。