PySpark或SparkR具備所有Python/R的內(nèi)置函數(shù)庫嗎

隨便隨便什么Python或者R的程序只要在spark所在的設備上能運行。也就是說相關的依賴都配置好了，就能用spark執(zhí)行。但是只有使用

創(chuàng)新互聯(lián)建站主要從事網(wǎng)站設計制作、做網(wǎng)站、網(wǎng)頁設計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務。立足成都服務寬甸,十載網(wǎng)站建設經(jīng)驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:18980820575

spark提供的API的部分才會被spark處理(平行，多線程)，其他的部分都是由本地的interpreter(Python 或者

R)處理的。也就是說如果不用spark API，用不用spark執(zhí)行效果都一樣。

spark其實并不是什么獨立的程序，可以理解為一個內(nèi)嵌在原生interpreter內(nèi)的擴展程序。就跟你在Python里面用numpy一樣。

轉(zhuǎn)載

Python 常用的標準庫以及第三方庫有哪些

5個常用的Python標準庫：

1、os：提供了不少與操作系統(tǒng)相關聯(lián)的函數(shù)庫

os包是Python與操作系統(tǒng)的接口。我們可以用os包來實現(xiàn)操作系統(tǒng)的許多功能，比如管理系統(tǒng)進程，改變當前路徑，改變文件權限等。但要注意，os包是建立在操作系統(tǒng)的平臺上的，許多功能在Windows系統(tǒng)上是無法實現(xiàn)的。另外，在使用os包中，要注意其中的有些功能已經(jīng)被其他的包取代。

我們通過文件系統(tǒng)來管理磁盤上儲存的文件。查找、刪除、復制文件以及列出文件列表等都是常見的文件操作。這些功能通常可以在操作系統(tǒng)中看到，但現(xiàn)在可以通過Python標準庫中的glob包、shutil包、os.path包以及os包的一些函數(shù)等，在Python內(nèi)部實現(xiàn)。

2、sys：通常用于命令行參數(shù)的庫

sys包被用于管理Python自身的運行環(huán)境。Python是一個解釋器，也是一個運行在操作系統(tǒng)上的程序。我們可以用sys包來控制這一程序運行的許多參數(shù)，比如說Python運行所能占據(jù)的內(nèi)存和CPU，Python所要掃描的路徑等。另一個重要功能是和Python自己的命令行互動，從命令行讀取命令和參數(shù)。

3、random：用于生成隨機數(shù)的庫

Python標準庫中的random函數(shù)，可以生成隨機浮點數(shù)、整數(shù)、字符串，甚至幫助你隨機選擇列表序列中的一個元素，打亂一組數(shù)據(jù)等。

4、math：提供了數(shù)學常數(shù)和數(shù)學函數(shù)

標準庫中，Python定義了一些新的數(shù)字類型，以彌補之前的數(shù)字類型可能的不足。標準庫還包含了random包，用于處理隨機數(shù)相關的功能。math包補充了一些重要的數(shù)學常數(shù)和數(shù)學函數(shù)，比如pi、三角函數(shù)等等。

5、datetime：日期和時間的操作庫

日期和時間的管理并不復雜，但容易犯錯。Python的標準庫中對日期和時間的管理頗為完善，你不僅可以進行日期時間的查詢和變換，還可以對日期時間進行運算。通過這些標準庫，還可以根據(jù)需要控制日期時間輸出的文本格式。

除此之外，Python還有很多第三方庫，了解更多可移步：oldboyedu

13個最常用的Python深度學習庫介紹

13個最常用的Python深度學習庫介紹

如果你對深度學習和卷積神經(jīng)網(wǎng)絡感興趣，但是并不知道從哪里開始，也不知道使用哪種庫，那么這里就為你提供了許多幫助。

在這篇文章里，我詳細解讀了9個我最喜歡的Python深度學習庫。

這個名單并不詳盡，它只是我在計算機視覺的職業(yè)生涯中使用并在某個時間段發(fā)現(xiàn)特別有用的一個庫的列表。

這其中的一些庫我比別人用的多很多，尤其是Keras、mxnet和sklearn-theano。

其他的一些我是間接的使用，比如Theano和TensorFlow（庫包括Keras、deepy和Blocks等）。

另外的我只是在一些特別的任務中用過（比如nolearn和他們的Deep Belief Network implementation）。

這篇文章的目的是向你介紹這些庫。我建議你認真了解這里的每一個庫，然后在某個具體工作情境中你就可以確定一個最適用的庫。

我想再次重申，這份名單并不詳盡。此外，由于我是計算機視覺研究人員并長期活躍在這個領域，對卷積神經(jīng)網(wǎng)絡（細胞神經(jīng)網(wǎng)絡）方面的庫會關注更多。

我把這個深度學習庫的列表分為三個部分。

第一部分是比較流行的庫，你可能已經(jīng)很熟悉了。對于這些庫，我提供了一個通俗的、高層次的概述。然后，針對每個庫我詳細解說了我的喜歡之處和不喜歡之處，并列舉了一些適當?shù)膽冒咐?/p>

第二部分進入到我個人最喜歡的深度學習庫，也是我日常工作中使用最多的，包括：Keras、mxnet和sklearn-theano等。

最后，我對第一部分中不經(jīng)常使用的庫做了一個“福利”板塊，你或許還會從中發(fā)現(xiàn)有用的或者是在第二板塊中我還沒有嘗試過但看起來很有趣的庫。

接下來就讓我們繼續(xù)探索。

針對初學者：

Caffe

提到“深度學習庫”就不可能不說到Caffe。事實上，自從你打開這個頁面學習深度學習庫，我就敢打保票你肯定聽說Caffe。

那么，究竟Caffe是什么呢？

Caffe是由Berkeley Vision and Learning Center（BVLC）建立的深度學習框架。它是模塊化的，速度極快。而且被應用于學術界和產(chǎn)業(yè)界的start-of-the-art應用程序中。

事實上，如果你去翻閱最新的深度學習出版物（也提供源代碼），你就很可能會在它們相關的GitHub庫中找到Caffe模型。

雖然Caffe本身并不是一個Python庫，但它提供綁定到Python上的編程語言。我們通常在新領域開拓網(wǎng)絡的時候使用這些綁定。

我把Caffe放在這個列表的原因是它幾乎被應用在各個方面。你可以在一個空白文檔里定義你的模型架構和解決方案，建立一個JSON文件類型的.prototxt配置文件。Caffe二進制文件提取這些.prototxt文件并培訓你的網(wǎng)絡。Caffe完成培訓之后，你可以把你的網(wǎng)絡和經(jīng)過分類的新圖像通過Caffe二進制文件，更好的就直接通過Python或MATLAB的API。

雖然我很喜歡Caffe的性能（它每天可以在K40 GPU上處理60萬張圖片），但相比之下我更喜歡Keras和mxnet。

主要的原因是，在.prototxt文件內(nèi)部構建架構可能會變得相當乏味和無聊。更重要的是， Caffe不能用編程方式調(diào)整超參數(shù)！由于這兩個原因，在基于Python的API中我傾向于對允許我實現(xiàn)終端到終端聯(lián)播網(wǎng)的庫傾斜（包括交叉驗證和調(diào)整超參數(shù)）。

Theano

在最開始我想說Theano是美麗的。如果沒有Theano，我們根本不會達到現(xiàn)有的深度學習庫的數(shù)量（特別是在Python）。同樣的，如果沒有numpy，我們就不會有SciPy、scikit-learn和 scikit-image,，同樣可以說是關于Theano和深度學習更高級別的抽象。

非常核心的是，Theano是一個Python庫，用來定義、優(yōu)化和評估涉及多維數(shù)組的數(shù)學表達式。 Theano通過與numpy的緊密集成，透明地使用GPU來完成這些工作。

雖然可以利用Theano建立深度學習網(wǎng)絡，但我傾向于認為Theano是神經(jīng)網(wǎng)絡的基石，同樣的numpy是作為科學計算的基石。事實上，大多數(shù)我在文章中提到的庫都是圍繞著Theano，使自己變得更加便利。

不要誤會我的意思，我愛Theano，我只是不喜歡用Theano編寫代碼。

在Theano建設卷積神經(jīng)網(wǎng)絡就像只用本機Python中的numpy寫一個定制的支持向量機（SVM），當然這個對比并不是很完美。

你可以做到嗎？

當然可以。

它值得花費您的時間和精力嗎？

嗯，也許吧。這取決于你是否想擺脫低級別或你的應用是否需要。

就個人而言，我寧愿使用像Keras這樣的庫，它把Theano包裝成更有人性化的API，同樣的方式，scikit-learn使機器學習算法工作變得更加容易。

TensorFlow

與Theano類似，TensorFlow是使用數(shù)據(jù)流圖進行數(shù)值計算的開源庫（這是所有神經(jīng)網(wǎng)絡固有的特征）。最初由谷歌的機器智能研究機構內(nèi)的Google Brain Team研究人員開發(fā)，此后庫一直開源，并提供給公眾。

相比于Theano ，TensorFlow的主要優(yōu)點是分布式計算，特別是在多GPU的環(huán)境中（雖然這是Theano正在攻克的項目）。

除了用TensorFlow而不是Theano替換Keras后端，對于TensorFlow庫我并沒有太多的經(jīng)驗。然而在接下來的幾個月里，我希望這有所改變。

Lasagne

Lasagne是Theano中用于構建和訓練網(wǎng)絡的輕量級庫。這里的關鍵詞是輕量級的，也就意味著它不是一個像Keras一樣圍繞著Theano的重包裝的庫。雖然這會導致你的代碼更加繁瑣，但它會把你從各種限制中解脫出來，同時還可以讓您根據(jù)Theano進行模塊化的構建。

簡而言之：Lasagne的功能是Theano的低級編程和Keras的高級抽象之間的一個折中。

我最喜歡的：

Keras

如果我必須選出一個最喜歡的深度學習Python庫，我將很難在Keras和mxnet中做出抉擇——但最后，我想我會選Keras。

說真的，Keras的好處我說都說不完。

Keras是一個最低限度的、模塊化的神經(jīng)網(wǎng)絡庫，可以使用Theano或TensorFlow作為后端。Keras最主要的用戶體驗是，從構思到產(chǎn)生結(jié)果將會是一個非常迅速的過程。

在Keras中架構網(wǎng)絡設計是十分輕松自然的。它包括一些state-of-the-art中針對優(yōu)化（Adam，RMSProp）、標準化（BatchNorm）和激活層（PReLU，ELU，LeakyReLU）最新的算法。

Keras也非常注重卷積神經(jīng)網(wǎng)絡，這也是我十分需要的。無論它是有意還是無意的，我覺得從計算機視覺的角度來看這是非常有價值的。

更重要的是，你既可以輕松地構建基于序列的網(wǎng)絡（其中輸入線性流經(jīng)網(wǎng)絡）又可以創(chuàng)建基于圖形的網(wǎng)絡（輸入可以“跳過”某些層直接和后面對接）。這使得創(chuàng)建像GoogLeNet和SqueezeNet這樣復雜的網(wǎng)絡結(jié)構變得容易得多。

我認為Keras唯一的問題是它不支持多GPU環(huán)境中并行地訓練網(wǎng)絡。這可能會也可能不會成為你的大忌。

如果我想盡快地訓練網(wǎng)絡，那么我可能會使用mxnet。但是如果我需要調(diào)整超參數(shù)，我就會用Keras設置四個獨立的實驗（分別在我的Titan X GPUs上運行）并評估結(jié)果。

mxnet

我第二喜歡的深度學習Python庫無疑就是mxnet（重點也是訓練圖像分類網(wǎng)絡）。雖然在mxnet中站立一個網(wǎng)絡可能需要較多的代碼，但它會提供給你驚人數(shù)量的語言綁定（C ++、Python、R、JavaScript等）。

Mxnet庫真正出色的是分布式計算，它支持在多個CPU / GPU機訓練你的網(wǎng)絡，甚至可以在AWS、Azure以及YARN集群。

它確實需要更多的代碼來設立一個實驗并在mxnet上運行（與Keras相比），但如果你需要跨多個GPU或系統(tǒng)分配訓練，我推薦mxnet。

sklearn-theano

有時候你并不需要終端到終端的培養(yǎng)一個卷積神經(jīng)網(wǎng)絡。相反，你需要把CNN看作一個特征提取器。當你沒有足夠的數(shù)據(jù)來從頭培養(yǎng)一個完整的CNN時它就會變得特別有用。僅僅需要把你的輸入圖像放入流行的預先訓練架構，如OverFeat、AlexNet、VGGNet或GoogLeNet，然后從FC層提取特征（或任何您要使用的層）。

總之，這就是sklearn-theano的功能所在。你不能用它從頭到尾的訓練一個模型，但它的神奇之處就是可以把網(wǎng)絡作為特征提取器。當需要評估一個特定的問題是否適合使用深度學習來解決時，我傾向于使用這個庫作為我的第一手判斷。

nolearn

我在PyImageSearch博客上用過幾次nolearn，主要是在我的MacBook Pro上進行一些初步的GPU實驗和在Amazon EC2 GPU實例中進行深度學習。

Keras把 Theano和TensorFlow包裝成了更具人性化的API，而nolearn也為Lasagne做了相同的事。此外，nolearn中所有的代碼都是與scikit-learn兼容的，這對我來說絕對是個超級的福利。

我個人不使用nolearn做卷積神經(jīng)網(wǎng)絡（CNNs），但你當然也可以用（我更喜歡用Keras和mxnet來做CNNs）。我主要用nolearn來制作Deep Belief Networks (DBNs)。

DIGITS

DIGITS并不是一個真正的深度學習庫（雖然它是用Python寫的）。DIGITS（深度學習GPU培訓系統(tǒng)）實際上是用于培訓Caffe深度學習模式的web應用程序（雖然我認為你可以破解源代碼然后使用Caffe以外其他的后端進行工作，但這聽起來就像一場噩夢）。

如果你曾經(jīng)用過Caffe，那么你就會知道通過它的終端來定義.prototxt文件、生成圖像數(shù)據(jù)、運行網(wǎng)絡并監(jiān)管你的網(wǎng)絡訓練是相當繁瑣的。 DIGITS旨在通過讓你在瀏覽器中執(zhí)行這些任務來解決這個問題。

此外，DIGITS的用戶界面非常出色，它可以為你提供有價值的統(tǒng)計數(shù)據(jù)和圖表作為你的模型訓練。另外，你可以通過各種輸入輕松地可視化網(wǎng)絡中的激活層。最后，如果您想測試一個特定的圖像，您可以把圖片上傳到你的DIGITS服務器或進入圖片的URL，然后你的Caffe模型將會自動分類圖像并把結(jié)果顯示在瀏覽器中。干凈利落！

Blocks

說實話，雖然我一直想嘗試，但截至目前我的確從來沒用過Blocks（這也是我把它包括在這個列表里的原因）。就像許多個在這個列表中的其他庫一樣，Blocks建立在Theano之上，呈現(xiàn)出一個用戶友好型的API。

deepy

如果讓你猜deepy是圍繞哪個庫建立的，你會猜什么？

沒錯，就是Theano。

我記得在前一段時間用過deepy（做了初始提交），但在接下里的大概6-8個月我都沒有碰它了。我打算在接下來的博客文章里再嘗試一下。

pylearn2

雖然我從沒有主動地使用pylearn2，但由于歷史原因，我覺得很有必要把它包括在這個列表里。 Pylearn2不僅僅是一般的機器學習庫（地位類似于scikit-learn），也包含了深度學習算法的實現(xiàn)。

對于pylearn2我最大的擔憂就是（在撰寫本文時），它沒有一個活躍的開發(fā)者。正因為如此，相比于像Keras和mxnet這樣的有積極維護的庫，推薦pylearn2我還有些猶豫。

Deeplearning4j

這本應是一個基于Python的列表，但我想我會把Deeplearning4j包括在這里，主要是出于對他們所做事跡的無比崇敬——Deeplearning4j為JVM建立了一個開源的、分布式的深度學習庫。

如果您在企業(yè)工作，你可能會有一個塞滿了用過的Hadoop和MapReduce服務器的儲存器。也許這些你還在用，也許早就不用了。

你怎樣才能把這些相同的服務器應用到深度學習里？

事實證明是可以的——你只需要Deeplearning4j。

總計

以上就是本文關于13個最常用的Python深度學習庫介紹的全部內(nèi)容