重慶分公司,新征程啟航
為企業提供網站建設、域名注冊、服務器等服務
為企業提供網站建設、域名注冊、服務器等服務
小編給大家分享一下spark mllib中數據降維之如何實現主成分分析,希望大家閱讀完這篇文章之后都有所收獲,下面讓我們一起去探討吧!
專注于為中小企業提供成都網站設計、成都做網站服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業天祝藏族自治免費做網站提供優質的服務。我們立足成都,凝聚了一批互聯網行業人才,有力地推動了上1000家企業的穩健成長,幫助中小企業通過網站建設實現規模擴充和轉變。
package spark.DataDimensionReduction import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.linalg.distributed.RowMatrix import org.apache.spark.{SparkConf, SparkContext} /** * 數據降維 * 主成分分析PCA * 設法將原來具有一定相關行(比如 P個指標)的指標 * 重新組合成一組新的互相無關的綜合指標來代替原來的指標,從而實現數據降維的目的 * Created by eric on 16-7-24. */ object PCA { val conf = new SparkConf() //創建環境變量 .setMaster("local") //設置本地化處理 .setAppName("PCA") //設定名稱 val sc = new SparkContext(conf) def main(args: Array[String]) { val data = sc.textFile("./src/main/spark/DataDimensionReduction/a.txt") .map(_.split(" ").map(_.toDouble)) .map(line => Vectors.dense(line)) val rm = new RowMatrix(data) val pc = rm.computePrincipalComponents(3)//提取主成分,設置主成分個數為3 val mx = rm.multiply(pc)//創建主成分矩陣 mx.rows.foreach(println) } }
a.txt
1 2 3 4 5 6 7 8 9 0 8 7 6 4 2 1
看完了這篇文章,相信你對“spark mllib中數據降維之如何實現主成分分析”有了一定的了解,如果想了解更多相關知識,歡迎關注創新互聯行業資訊頻道,感謝各位的閱讀!