本篇文章為大家展示了如何用Python代碼從零開始建立回歸樹，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

我們提供的服務有：網站制作、成都網站設計、微信公眾號開發、網站優化、網站認證、方城ssl等。為上1000+企事業單位解決了網站和推廣的問題。提供周到的售前咨詢和貼心的售后服務，是有科學管理、有技術的方城網站制作公司

介紹

流程圖用于通過可視媒體闡明決策過程。設計需要對整個系統有完整的了解，因此也需要人的專業知識。問題是：“就流程的復雜性而言，是否可以自動創建流程圖以使其設計更快，更便宜且更具可擴展性？” 答案就是決策樹！

決策樹可以自動推斷出最能表達決策內部工作的規則。在經過標記的數據集上訓練時，決策樹將學習規則樹（即流程圖），并遵循該樹來確定任何給定輸入的輸出。它們的簡單性和高解釋性使它們成為ML工具箱中的重要資產。

描述了回歸樹-具有連續輸出的決策樹-并實現了用于學習和預測的代碼段。使用波士頓數據集創建用例場景并學習定義房屋價格的規則。可以在參考文獻中找到完整代碼的鏈接。

用于處理COVID-19的流程圖。[1]

學習規則

尋求的規則，樹類似的流程圖，是最好的解釋了房子的功能和它的價格之間的關系。每個規則將成為該樹中的一個節點，并將房屋分成不相交的集合，例如具有兩個房間的房子，具有三個房間的房子和具有三個以上房間的房子。規則也可以基于多種功能，例如帶有兩個房間且靠近查爾斯河的房屋。因此所有可能的樹的空間都是巨大的，需要簡化以計算方式解決學習問題。

作為第一個簡化，僅考慮二進制規則：將房屋分為兩部分的規則，例如“房屋是否少于三個房間？”。作為第二個，省略了特征的組合，因為組合的數量可能很大，并且僅考慮基于一個特征的規則。在這些簡化下，規則是具有兩個部分的“ 小于關系”：特征（例如房間數量）和劃分閾值（例如三個）。

基于此規則定義，我們通過遞歸搜索將數據最好分為兩部分的規則來構建規則樹。

換句話說，首先將數據盡可能地劃分為兩個拆分，然后再分別考慮每個拆分。繼續分割分割，直到滿足預定條件，例如最大深度。由于簡化和貪婪規則搜索，構造的樹只是最佳樹的近似。在下面，可以找到實現該學習的Python代碼。

用Python實現的遞歸拆分過程。

將拆分過程作為一個函數來實現，并使用訓練數據（X_train，y_train）來調用它。該功能找到將訓練數據分為兩部分的最佳規則，并根據找到的規則進行分割。它通過使用左右拆分作為訓練數據來不斷調用自己，直到達到預先指定的最大深度或訓練數據太小而無法劃分為止。當滿足停止條件時，它將停止劃分，并以當前拆分中訓練數據的平均價格來預測房價。

在split函數中，將除法規則定義為具有left，right，feature和threshold的鍵的字典。最佳劃分規則由另一個功能返回，該功能通過遍歷訓練集中的每個特征和閾值來詳盡地掃描可能的規則。確定特征的閾值取決于特征在整個數據集中所取的值。這是代碼：

查找最佳規則的功能，該規則將手頭的訓練數據分開。

該功能通過測量規則建議的分割質量來跟蹤最佳規則。質量通過名為“ 殘差平方和”（RSS）的“越低越好”度量來度量（有關RSS的更多詳細信息，請參見參考資料中的筆記本）。最后，最佳規則作為字典返回。

解釋規則

學習算法自動選擇特征和閾值以創建最能解釋房屋特征與其價格之間關系的規則。下面以最大深度為3的方式可視化從波士頓數據集中學習到的規則樹。可以觀察到提取的規則與人類的直覺相重疊。此外可以像跟蹤流程圖一樣容易地預測房屋價格。

從波士頓數據集中學習的最大深度為3的規則樹。

現在描述一個自動使用以上流程圖進行預測的過程。給定具有數據集中特征的房屋，在節點中提出問題并根據答案進行傳播，直到得出預測（即葉節點）為止。

例如，位于以下位置的房屋：（i）較低的身份百分比為5.3，（ii）每個住宅的平均房間為10.2，并且（iii）人均犯罪率為0.01，將第一個問題回答為“是”，第二個問題回答為“ 否”第三個是YES。因此預計其價格為45.80K。可以在下面找到所遵循路徑的可視化。

樹規則中的示例預測路徑。

使用split函數返回的字典對預測過程進行編碼非常簡單。通過比較規則指定的特征值和閾值來遍歷規則字典。根據答案向左或向右移動，直到遇到帶有預測鍵（即葉節點）的規則。以下是用于預測的代碼段。

使用學到的樹來預測房屋價格的功能。

回歸樹是用作回歸模型的快速直觀的結構。對于波士頓數據集，當適當調整最大深度時，它們可以達到0.9左右的R2分數。但是它們可能對數據集中的微小變化是脆弱的，這使得它們不可靠地用作單個預測變量。提出了隨機森林和梯度增強樹來解決高靈敏度問題，它們可以產生與深度模型相當的結果。

上述內容就是如何用Python代碼從零開始建立回歸樹，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注創新互聯行業資訊頻道。