重慶分公司,新征程啟航
為企業提供網站建設、域名注冊、服務器等服務
為企業提供網站建設、域名注冊、服務器等服務
Mark Shuttleworth在十幾年前發起了Ubuntu inux項目,現在他在Canonical(一家提供Ubuntu支持服務的公司)主管戰略和用戶體驗。他認為新一輪的服務器虛擬化浪潮與前一輪不太相同。
創新互聯專注為客戶提供全方位的互聯網綜合服務,包含不限于做網站、成都做網站、威縣網絡推廣、重慶小程序開發、威縣網絡營銷、威縣企業策劃、威縣品牌公關、搜索引擎seo、人物專訪、企業宣傳片、企業代運營等,從售前售中售后,我們都將竭誠為您服務,您的肯定,是我們最大的嘉獎;創新互聯為所有大學生創業者提供威縣建站搭建服務,24小時服務熱線:18980820575,官方網址:www.cdcxhl.com
在他的指導下,Canonical和其他的Linux機構一樣,在其發布版本中先是Xen Hypervisor,接著是KVM然后繼續支持Docker,成功地趕上了虛擬化的幾輪潮流。當Eucalyptus是用的可計算云控制器時該公司成為排頭兵,而當業界開始支持另一個開源項目- OpenStack而且OpenStack做為Linux的首選被部署到多個公有云上時,他們也迅速地轉向OpenStack。Docker及其軟件容器方式完全類似于虛擬化并且讓云計算服務商為之癲狂,但是讓Shuttleworth興奮的是另一種稱為Linux容器 (縮寫為LXC)的技術及與之相應的稱為LXD的Hypervisor。LXD是由Canonical開發的一個后臺進程來管理這些容器并且提供了或多或少與開源的Xen及KVM、微軟的Hyper-V或者VMware的ESXi這些服務器虛擬化Hypervisor類似的功能。
Shuttlworth向The Next Platform表示:“我們相信這是十年來對Linux虛擬化最大的突破,你可以看到我們對此是多么興奮”。
LXC容器的想法和初期的工作都是由Google完成的,容器化應用程序已經在其基礎架構上運行了超過十年時間,而且據說每天會啟動超過20億的容器。Canonical和其他大約80個組織已經開始致力于LXC的商業化,因為LXC最初并不是一個對用戶很友好的技術。商業化是為了讓其具有常見服務器虛擬化的觀感和體驗,盡管它使用的是非常不同且簡化的技術。
“對于容器,很多人并不了解的是我們用來配置容器的系統其實可以用很多種方法來做虛擬或者模擬”,Shuttleworth解釋說”有時你希望模仿看起和Docker類似的東西,而有時你又想模擬其他的東西。就LXC而言,我們想要創建容器的途徑是創建假想的主機,而不是運行操作系統的主機或者構成一個操作系統的所有進程。這與Docker所作的完全不同,雖然它們都使用相同的底層原語,但是創建了不同的的東西。LXC的宗旨是不借助硬件虛擬化來創建虛擬機“
說起Docker,它在早期是基于LXC的但是現在它有了自己的抽象層,它更像一個運行在文件系統之上的單個進程,就好比你啟動了主機但并沒有運行 Init和所有構成操作系統的進程而是直接運行數據庫或者其他的東西,然后在一臺主機上啟動多個容器并把它們一起置于其中。通過LXC及其LXD守護進程,Canonical希望保持擁有一個完整Debian、CentOS、Ubuntu或其他Linux操作系統的感觀。
“在LXC 1.0中,常見的情景是程序員說:“給我創建這個容器”。現在我們做法接收代碼然后將其納入LXD守護進程來管理,因此并不需要由程序員去創建每一個容器,我可以擁有上百個虛擬機并且與LXD守護進程進行通信來進行統一管理,因此我所擁有的虛擬機集群與你使用VMware ESXi hypervisor所構建的類似。把LXC打包到一個守護進程中就使得它變成了一個hypervisor。什么是ESXi?它基本上是一個操作系統,你可以通過網絡跟它通信并且讓它給你創建一個虛擬機。通過LXD,你可以跟一個運行LXC的主機說給我創建一個運行CentOS的新容器。這成為一個集群的導引機制?!?/p>
LXD也提供了另一個重要功能:它是運行的在兩臺不同物理主機上的一個軟件,從而使得LXC實例能夠在主機間在線地遷移。
程序員都追求簡潔而且他們喜歡保持事物有序和整潔。在某種程度上,只是因為硬件虛擬化的成本很高就不得不把程序部署到多個主機上已經成了一個痛點?,F在,你可以快速地在一臺主機上運行多個程序而沒有這些開銷并且始終保持他們的原始狀態和隔離。
本周,Canonical發布了首次包括LXD hypervisor的LXC 2.0 beta版本。在本月將要發布的Ubuntu Server 15.10的更新中就包括這兩個組件,而Canonical也通過統一步驟把LXC 2.0反推入Ubuntu Server 14.04 LTS(LTS是Long Term Support的縮寫)的服務器版本。LTS版本每兩年發布一次而且具有五年的支持生命期。由于它的穩定性有保證,所以70%的客戶都在生產環境中運行 Ubuntu服務器的LTS版本。據Shuttleworth說,包含LXD hypervisor的LXC 2.0生產級別版本將在明年亮相,根據命名方案的建議可能就在二月或者三月最遲到4月就與新的企業級版本 – Ubuntu Server 16.04 LTS一同發布。負責Ubuntu產品和戰略的Dustin Kirklan對TheNext Platform說,從下一個LTS版本開始,在每一個Ubuntu Server中就會缺省安裝LXC和LXD組件,這樣每個主機都可以運行幾十到幾百個容器 –IBM在最大的使用POWER處理器的服務器上甚至可以運行數千個容器。
相比于依靠硬件虛擬化的常規虛擬機,LXC容器具有兩個巨大的優勢:一臺主機上可以打包的容器數量和這些容器的啟動速度。盡管為了在一臺硬件上用不同的容器運行不同的Linux需要一些額外的工作,但是由于LXC其實就是用Linux運行Linux,所以不需要虛擬什么。
“這在性能方面前進了一步,而在密度方面的改進則是巨大的”,Shuttleworth無不得意地說:“而這對于低延遲、實時型的應用程序具有顯著的改善。在云計算環境中這類事情都變得容易處理了,當然過去他們可不是這樣。如果你的云平臺運行了LXC,很快高性能計算可以搞定了、云計算平臺上的實時計算也可以搞定了,而且如果你是一個需要低傳輸延遲的電信運營商的話,那么NFV(網絡功能虛擬化)也可以搞定了。在這些需要巨大資金投入的領域,人們真的希望使用云計算和虛擬化,而LXC使其成為可能。這是非常令人振奮的”
Shuttleworth說LXC容器在密度方面可以達到諸如EXSi、Xen或KVM這類使用虛擬機的hypervisor的14倍,而且 LXC和LXD組合在開銷方面卻只占基于硬件虛擬化的Hypervisor的20%不到。對于空閑的負載而言,VM和LXC容器就和大多數VM和物理主機所作的一樣大部分時間在等待。對于繁忙的VM而言,LXC容器則能夠提供明顯要好得多的I/O吞吐量和更低的延遲。因此,對于空閑的主機你專注于整合,而對于繁忙的主機你專注于吞吐量和延遲。而且由于Hypervisor和VM的特定開銷可以釋放出來用于實際工作,所以你可以得到大約20%的性能提升。
現在已經開始對LXC及LXD組合進行基準測試。在上周東京召開的OpenStack峰會上,Canonical LXD開發團隊的Tycho Andersen展示了一些在虛擬化環境中的測試基準,其中一個是使用Hadoop TeraSort測試而另一個是對Cassandra NoSQL數據存儲的壓力測試。這兩個測試中,主機運行的是在峰會期間發布的最新OpenStack “Liberty”云控制器和同樣剛發布的Ubuntu 15.10. 15.10,它既有KVM也有LXD hypervisor和各自的虛擬機和容器。這些服務器配備了24核和48GB內存,一個控制器負責管理OpenStack而其他三臺用作基本的計算節點。
在TeraSort測試開始的時候,在三臺主機上LXC和KVM的表現基本一致,但是當OpenStack/Hadoop集群中的主機數量隨著數據集的規模增長后,兩種不同的虛擬化手段在性能方面的差異開始顯現。
NoSQL,泛指非關系型的數據庫。隨著互聯網web2.0網站的興起,傳統的關系數據庫在處理web2.0網站,特別是超大規模和高并發的SNS類型的web2.0純動態網站已經顯得力不從心,出現了很多難以克服的問題,而非關系型的數據庫則由于其本身的特點得到了非常迅速的發展。
常見的Nosql數據庫有:
一、Redis數據庫
Redis(RemoteDictionaryServer),即遠程字典服務,是一個開源的使用ANSIC語言編寫、支持網絡、可基于內存亦可持久化的日志型、Key-Value數據庫,并提供多種語言的API。從2010年3月15日起,Redis的開發工作由VMware主持。從2013年5月開始,Redis的開發由Pivotal贊助。
二、MongoDB數據庫
MongoDB是一個介于關系數據庫和非關系數據庫之間的產品,是非關系數據庫當中功能最豐富,最像關系數據庫的。它支持的數據結構非常松散,是類似json的bson格式,因此可以存儲比較復雜的數據類型。
Mongo最大的特點是它支持的查詢語言非常強大,其語法有點類似于面向對象的查詢語言,幾乎可以實現類似關系數據庫單表查詢的絕大部分功能,而且還支持對數據建立索引。
擴展資料:
對于NoSQL并沒有一個明確的范圍和定義,但是他們都普遍存在下面一些共同特征:
一、易擴展
NoSQL數據庫種類繁多,但是一個共同的特點都是去掉關系數據庫的關系型特性。數據之間無關系,這樣就非常容易擴展。無形之間,在架構的層面上帶來了可擴展的能力。
二、大數據量,高性能
NoSQL數據庫都具有非常高的讀寫性能,尤其在大數據量下,同樣表現優秀。這得益于它的無關系性,數據庫的結構簡單。一般MySQL使用Query Cache。NoSQL的Cache是記錄級的,是一種細粒度的Cache,所以NoSQL在這個層面上來說性能就要高很多。
三、靈活的數據模型
NoSQL無須事先為要存儲的數據建立字段,隨時可以存儲自定義的數據格式。而在關系數據庫里,增刪字段是一件非常麻煩的事情。如果是非常大數據量的表,增加字段簡直就是——個噩夢。這點在大數據量的Web2.0時代尤其明顯。
四、高可用
NoSQL在不太影響性能的情況,就可以方便地實現高可用的架構。比如Cassandra、HBase模型,通過復制模型也能實現高可用。
參考資料來源:百度百科-NoSQL
在大數據時代,“多種架構支持多類應用”成為數據庫行業應對大數據的基本思路,數據庫行業出現互為補充的三大陣營,適用于事務處理應用的OldSQL、適用于數據分析應用的NewSQL和適用于互聯網應用的NoSQL。但在一些復雜的應用場景中,單一數據庫架構都不能完全滿足應用場景對海量結構化和非結構化數據的存儲管理、復雜分析、關聯查詢、實時性處理和控制建設成本等多方面的需要,因此不同架構數據庫混合部署應用成為滿足復雜應用的必然選擇。不同架構數據庫混合使用的模式可以概括為:OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過三個案例對不同架構數據庫的混合應用部署進行介紹。
OldSQL+NewSQL 在數據中心類應用中混合部署
采用OldSQL+NewSQL模式構建數據中心,在充分發揮OldSQL數據庫的事務處理能力的同時,借助NewSQL在實時性、復雜分析、即席查詢等方面的獨特優勢,以及面對海量數據時較強的擴展能力,滿足數據中心對當前“熱”數據事務型處理和海量歷史“冷”數據分析兩方面的需求。OldSQL+NewSQL模式在數據中心類應用中的互補作用體現在,OldSQL彌補了NewSQL不適合事務處理的不足,NewSQL彌補了OldSQL在海量數據存儲能力和處理性能方面的缺陷。
商業銀行數據中心采用OldSQL+NewSQL混合部署方式搭建,OldSQL數據庫滿足各業務系統數據的歸檔備份和事務型應用,NewSQL MPP數據庫集群對即席查詢、多維分析等應用提供高性能支持,并且通過MPP集群架構實現應對海量數據存儲的擴展能力。
商業銀行數據中心存儲架構
與傳統的OldSQL模式相比,商業銀行數據中心采用OldSQL+NewSQL混合搭建模式,數據加載性能提升3倍以上,即席查詢和統計分析性能提升6倍以上。NewSQL MPP的高可擴展性能夠應對新的業務需求,可隨著數據量的增長采用集群方式構建存儲容量更大的數據中心。
OldSQL+NoSQL 在互聯網大數據應用中混合部署
在互聯網大數據應用中采用OldSQL+NoSQL混合模式,能夠很好的解決互聯網大數據應用對海量結構化和非結構化數據進行存儲和快速處理的需求。在諸如大型電子商務平臺、大型SNS平臺等互聯網大數據應用場景中,OldSQL在應用中負責高價值密度結構化數據的存儲和事務型處理,NoSQL在應用中負責存儲和處理海量非結構化的數據和低價值密度結構化數據。OldSQL+NoSQL模式在互聯網大數據應用中的互補作用體現在,OldSQL彌補了NoSQL在ACID特性和復雜關聯運算方面的不足,NoSQL彌補了OldSQL在海量數據存儲和非結構化數據處理方面的缺陷。
數據魔方是淘寶網的一款數據產品,主要提供行業數據分析、店鋪數據分析。淘寶數據產品在存儲層采用OldSQL+NoSQL混合模式,由基于MySQL的分布式關系型數據庫集群MyFOX和基于HBase的NoSQL存儲集群Prom組成。由于OldSQL強大的語義和關系表達能力,在應用中仍然占據著重要地位,目前存儲在MyFOX中的統計結果數據已經達到10TB,占據著數據魔方總數據量的95%以上。另一方面,NoSQL作為SQL的有益補充,解決了OldSQL數據庫無法解決的全屬性選擇器等問題。
淘寶海量數據產品技術架構
基于OldSQL+NoSQL混合架構的特點,數據魔方目前已經能夠提供壓縮前80TB的數據存儲空間,支持每天4000萬的查詢請求,平均響應時間在28毫秒,足以滿足未來一段時間內的業務增長需求。
NewSQL+NoSQL 在行業大數據應用中混合部署
行業大數據與互聯網大數據的區別在于行業大數據的價值密度更高,并且對結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等都比互聯網大數據有更高的要求。行業大數據應用場景主要是分析類應用,如:電信、金融、政務、能源等行業的決策輔助、預測預警、統計分析、經營分析等。
在行業大數據應用中采用NewSQL+NoSQL混合模式,充分利用NewSQL在結構化數據分析處理方面的優勢,以及NoSQL在非結構數據處理方面的優勢,實現NewSQL與NoSQL的功能互補,解決行業大數據應用對高價值結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等要求,以及對海量非結構化數據存儲和精確查詢的要求。在應用中,NewSQL承擔高價值密度結構化數據的存儲和分析處理工作,NoSQL承擔存儲和處理海量非結構化數據和不需要關聯分析、Ad-hoc查詢較少的低價值密度結構化數據的工作。
當前電信運營商在集中化BI系統建設過程中面臨著數據規模大、數據處理類型多等問題,并且需要應對大量的固定應用,以及占統計總數80%以上的突發性臨時統計(ad-hoc)需求。在集中化BI系統的建設中采用NewSQL+NoSQL混搭的模式,充分利用NewSQL在復雜分析、即席查詢等方面處理性能的優勢,及NoSQL在非結構化數據處理和海量數據存儲方面的優勢,實現高效低成本。
集中化BI系統數據存儲架構
集中化BI系統按照數據類型和處理方式的不同,將結構化數據和非結構化數據分別存儲在不同的系統中:非結構化數據在Hadoop平臺上存儲與處理;結構化、不需要關聯分析、Ad-hoc查詢較少的數據保存在NoSQL數據庫或Hadoop平臺;結構化、需要關聯分析或經常ad-hoc查詢的數據,保存在NewSQL MPP數據庫中,短期高價值數據放在高性能平臺,中長期放在低成本產品中。
結語
當前信息化應用的多樣性、復雜性,以及三種數據庫架構各自所具有的優勢和局限性,造成任何一種架構的數據庫都不能完全滿足應用需求,因此不同架構數據庫混合使用,從而彌補其他架構的不足成為必然選擇。根據應用場景采用不同架構數據庫進行組合搭配,充分發揮每種架構數據庫的特點和優勢,并且與其他架構數據庫形成互補,完全涵蓋應用需求,保證數據資源的最優化利用,將成為未來一段時期內信息化應用主要采用的解決方式。
目前在國內市場上,OldSQL主要為Oracle、IBM等國外數據庫廠商所壟斷,達夢、金倉等國產廠商仍處于追趕狀態;南大通用憑借國產新型數據庫GBase 8a異軍突起,與EMC的Greenplum和HP的Vertica躋身NewSQL市場三強;NoSQL方面用戶則大多采用Hadoop開源方案。