如何玩轉NoSQL數據庫

何玩轉 NoSQL數據庫作者：IT專家中國 Weather公司CIO Bryson Koehler整理MongoDBRiakCassandra等NoSQL數據庫特性指其重要特性NoSQL限制住 Weather公司致力于氣報告氣預報業(yè)務其并缺乏數據缺乏數據管理工具需要三種同NoSQL數據庫 近我向Weather 公司CIO Bryson Koehler提疑問除公司CIO,Bryson Koehler其業(yè)務單元孵化者,包括Weather ChannelWeatherFXWeather UndergroundIntellicast等Weather公司每獲取處理著約二0萬億字節(jié)數據外提供前全球氣狀況并航空公司緊中國服務貨運商公用事業(yè)保險及線氣中國站氣應用程序用戶提供氣預報服務每需求增加數十億氣數據請求并且預期響應間要一0毫秒左右 RiakWeather 公司臺NoSQL數據庫服務于公司事務性存儲公用中國絡(SUN)數據獲取平臺運行亞馬遜中國絡服務(AWS)用區(qū)域并每一5頻率捕獲超二0億氣象數據信息所Riak具明確處理規(guī)模該公司使用Cassandra及新近添加MongoDB數據庫Weather中國 IOSAndroid移應用程序服務 Weather 公司使用同產品Koehler解釋說同工具同優(yōu)勢 Cassandra服務于Weather 公司及全球消費者使用第三氣應用API數據：我數據發(fā)平臺每秒處理數十萬事務我發(fā)現Cassandra用于全球發(fā)數據棒解決案并且[數據庫]讀取面體現高用性 本質全球各消費者所使用數據服務包括Weather 公司第三氣應用程序 MongoDB提供Weather中國中國站移應用程序間層緩存功能：離我核API我沒全部Weather中國內容所MongoDB容器發(fā)站Weather中國及AndroidiOS移應用程序服務Mongo處些處基于其內建JSON格式及靈性 Riak用于消費氣象數據觀測包括自世界各圖片視頻等：我喜Riak其優(yōu)秀數據攝取能力且種全球布式式實現于全球布式平臺獲取數據入站式數據庫真靠選擇 我曾聽說DatastaxBashoCouchbase高管貶低MongoDB擴展性MongoDB指向規(guī)模部署Facebook超二00萬臺移設備應用程序提供支持eHarmony公司MongDB每處理著數十億潛比賽預約據Koehle所述MongoDBWeather中國Weather中國移應用程序處理著每十億交易毫疑問通配置部署Mongo處理批量交易數據 盡管Koehler承認樂于看MongoDB繼續(xù)使全球集群位置[功能]更加縫化且易于使用 些屬于全球性布式集群復制負載平衡CassandraRiak眾所周知功能 規(guī)模討論角度看少公司達Weather公司經營規(guī)模易于發(fā)架構靈性JSON數據處理使MongoDB世界流行NoSQL數據庫微軟IBM都進行MongoDB模仿微軟Azure DocumentDBIBM CloudantCassandraRiak Weather公司三NoSQL標準降低至兩程鞏固Koehler說公司沒準備做 由于我構造由許同數據解決案組中國狀結構我目前環(huán)境已于復雜說我希望給團隊些自由空間讓我解所選擇利弊看些整合 候遷移件難事關于NoSQL數據庫重要事情困其 Koehler說架構編碼確數據庫遷移另并難隨著模式自由及數據轉存技術發(fā)展論前者key-value存儲或其形式轉儲數據都十容易 特定產品進程自定義編碼復雜存儲程已經復返Koehler說關于結構化編碼確需要考慮?做避免特殊供應商提供工具功能能讓身陷其舉亞馬遜中國絡服務(AWS)消息服務例 必讓服務云運行解釋說部署自RabbitMQ環(huán)境陷于其所原先部署AWS 應用程序轉部署谷歌計算云服務論數據平臺存儲環(huán)境或云計算環(huán)境都要別讓自局限僅由供應商提供范圍空間內 轉

創(chuàng)新互聯自2013年創(chuàng)立以來，先為巴南等服務建站，巴南等地企業(yè)，進行企業(yè)商務咨詢服務。為巴南企業(yè)網站制作PC+手機+微官網三網同步一站式服務解決您的所有建站問題。

大數據時代數據管理方式研究

大數據時代數據管理方式研究

1數據管理技術的回顧

數據管理技術主要經歷了人工管理階段、文件系統階段和數據庫系統階段。隨著數據應用領域的不斷擴展，數據管理所處的環(huán)境也越來越復雜，目前廣泛流行的數據庫技術開始暴露出許多弱點，面臨著許多新的挑戰(zhàn)。

1.1 人工管理階段

20 世紀 50 年代中期，計算機主要用于科學計算。當時沒有磁盤等直接存取設備，只有紙帶、卡片、磁帶等外存，也沒有操作系統和管理數據的專門軟件。該階段管理的數據不保存、由應用程序管理數據、數據不共享和數據不具有獨立性等特點。

1.2 文件系統階段

20 世紀 50 年代后期到 60 年代中期，隨著計算機硬件和軟件的發(fā)展，磁盤、磁鼓等直接存取設備開始普及，這一時期的數據處理系統是把計算機中的數據組織成相互獨立的被命名的數據文件，并可按文件的名字來進行訪問，對文件中的記錄進行存取的數據管理技術。數據可以長期保存在計算機外存上，可以對數據進行反復處理，并支持文件的查詢、修改、插入和刪除等操作。其數據面向特定的應用程序，因此，數據共享性、獨立性差，且冗余度大，管理和維護的代價也很大。

1.3數據庫階段

20 世紀 60 年代后期以來，計算機性能得到進一步提高，更重要的是出現了大容量磁盤，存儲容量大大增加且價格下降。在此基礎上，才有可能克服文件系統管理數據時的不足，而滿足和解決實際應用中多個用戶、多個應用程序共享數據的要求，從而使數據能為盡可能多的應用程序服務，這就出現了數據庫這樣的數據管理技術。數據庫的特點是數據不再只針對某一個特定的應用，而是面向全組織，具有整體的結構性，共享性高，冗余度減小，具有一定的程序與數據之間的獨立性，并且對數據進行統一的控制。

2大數據時代的數據管理技術

大數據（big data），或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的資訊。大數據有 3 個 V,一是大量化（Volume），數據量是持續(xù)快速增加的，從 TB級別，躍升到 PB 級別；二是多樣化（Variety），數據類型多樣化，結構化數據已被視為小菜一碟，圖片、音頻、視頻等非結構化數據正以傳統結構化數據增長的兩倍速快速創(chuàng)建；三是快速化 （Velocity），數據生成速度快，也就需要快速的處理能力，因此，產生了“1 秒定律”,就是說一般要在秒級時間范圍內給出分析結果，時間太長就失去價值了，這個速度要求是大數據處理技術和傳統的數據挖掘技術最大的區(qū)別。

2.1 關系型數據庫（RDBMS）

20 世紀 70 年代初，IBM 工程師 Codd 發(fā)表了著名的論文“A Relational Model of Data for Large Shared DataBanks”,標志著關系數據庫時代來臨。關系數據庫的理論基礎是關系模型，是借助于集合代數等數學概念和方法來處理數據庫中的數據，現實世界中的實體以及實體之間的聯系非常容易用關系模型來表示。容易理解的模型、容易掌握的查詢語言、高效的優(yōu)化器、成熟的技術和產品，使得關系數據庫占據了數據庫市場的絕對的統治地位。隨著互聯網 web2.0 網站的興起，半結構化和非結構化數據的大量涌現，傳統的關系數據庫在應付 web2.0 網站特別是超大規(guī)模和高并發(fā)的 SNS（全稱 Social Networking Services,即社會性網絡服務） 類型的 web2.0 純動態(tài)網站已經顯得力不從心，暴露了很多難以克服的問題。

2.2 noSQL數據庫

順應時代發(fā)展的需要產生了 noSQL數據庫技術，其主要特點是采用與關系模型不同的數據模型，當前熱門的 noSQL數據庫系統可以說是蓬勃發(fā)展、異軍突起，很多公司都熱情追捧之，如：由 Google 公司提出的 Big Table 和 MapReduce 以及 IBM 公司提出的 Lotus Notes 等。不管是那個公司的 noSQL數據庫都圍繞著大數據的 3 個 V,目的就是解決大數據的 3個 V 問題。因此，在設計 noSQL 時往往考慮以下幾個原則，首先，采用橫向擴展的方式，通過并行處理技術對數據進行劃分并進行并行處理，以獲得高速的讀寫速度；其次，解決數據類型從以結構化數據為主轉向結構化、半結構化、非結構化三者的融合的問題；再次，放松對數據的 ACID 一致性約束，允許數據暫時出現不一致的情況，接受最終一致性；最后，對各個分區(qū)數據進行備份（一般是 3 份），應對節(jié)點失敗的狀況等。

對數據的應用可以分為分析型應用和操作型應用，分析型應用主要是指對大量數據進行分類、聚集、匯總，最后獲得數據量相對小的分析結果；操作型應用主要是指對數據進行增加、刪除、修改和查詢以及簡單的匯總操作，涉及的數據量一般比較少，事務執(zhí)行時間一般比較短。目前數據庫可分為關系數據庫和 noSQL數據庫，根據數據應用的要求，再結合目前數據庫的種類，所以目前數據庫管理方式主要有以下 4 類。

（1）面向操作型的關系數據庫技術。

首先，傳統數據庫廠商提供的基于行存儲的關系數據庫系統，如 DB2、Oracle、SQL Server 等，以其高度的一致性、精確性、系統可恢復性，在事務處理方面仍然是核心引擎。其次，面向實時計算的內存數據庫系統，如 Hana、Timesten、Altibase 等通過把對數據并發(fā)控制、查詢和恢復等操作控制在內存內部進行，所以獲得了非常高的性能，在很多特定領域如電信、證券、網管等得到普遍應用。另外，以 VoltDB、Clustrix 和NuoDB 為代表的 new SQL 宣稱能夠在保持 ACDI 特性的同時提高了事務處理性能 50 倍 ~60 倍。

（2）面向分析型的關系數據庫技術。

首先，TeraData 是數據倉庫領域的領頭羊，Teradata 在整體上是按 Shared Nothing 架構體系進行組織的，定位就是大型數據倉庫系統，支持較高的擴展性。其次，面向分析型應用，列存儲數據庫的研究形成了另一個重要的潮流。列存儲數據庫以其高效的壓縮、更高的 I/O 效率等特點，在分析型應用領域獲得了比行存儲數據庫高得多的性能。如：MonetDB 和 Vertica是一個典型的基于列存儲技術的數據庫系統。

（3）面向操作型的 noSQL 技術。

有些操作型應用不受 ACID 高度一致性約束，但對大數據處理需要處理的數據量非常大，對速度性能要求也非常高，這樣就必須依靠大規(guī)模集群的并行處理能力來實現數據處理，弱一致性或最終一致性就可以了。這時，操作型 noSQL數據庫的優(yōu)點就可以發(fā)揮的淋漓盡致了。如，Hbase 一天就可以有超過 200 億個到達硬盤的讀寫操作，實現對大數據的處理。另外，noSQL數據庫是一個數據模型靈活、支持多樣數據類型，如對圖數據建模、存儲和分析，其性能、擴展性是關系數據庫無法比擬的。

（4）面向分析型的 noSQL 技術。

面向分析型應用的 noSQL 技術主要依賴于Hadoop 分布式計算平臺，Hadoop 是一個分布式計算平臺，以 HDFS 和 Map Reduce 為用戶提供系統底層細節(jié)透明的分布式基礎架構。《Hadoop 經典實踐染技巧》傳統的數據庫廠商 Microsoft,Oracle,SAS,IBM 等紛紛轉向 Hadoop 的研究，如微軟公司關閉 Dryad 系統，全力投入 Map Reduce 的研發(fā)，Oracle 在 2011 年下半年發(fā)布 Big Plan 戰(zhàn)略計劃，全面進軍大數據處理領域，IBM 則早已捷足先登“,沃森（Watson）”計算機就是基于 Hadoop 技術開發(fā)的產物，同時 IBM 發(fā)布了 BigInsights 計劃，基于 Hadoop,Netezza 和 SPSS（統計分析、數據挖掘軟件）等技術和產品構建大數據分析處理的技術框架。同時也涌現出一批新公司來研究Hadoop 技術，如 Cloudera、MapRKarmashpere 等。

3數據管理方式的展望

通過以上分析，可以看出關系數據庫的 ACID 強調數據一致性通常指關聯數據之間的邏輯關系是否正確和完整，而對于很多互聯網應用來說，對這一致性和隔離性的要求可以降低，而可用性的要求則更為明顯，此時就可以采用 noSQL 的兩種弱一致性的理論 BASE 和 CAP.關系數據庫和 noSQL數據庫并不是想到對立的矛盾體，而是可以相互補充的，根據不同需求使用不同的技術，甚至二者可以共同存在，互不影響。最近幾年，以 Spanner 為代表新型數據庫的出現，給數據庫領域注入新鮮血液，這就是融合了一致性和可用性的 newSQL,這種新型思維方式或許會是未來大數據處理方式的發(fā)展方向。

4 結束語

隨著云計算、物聯網等的發(fā)展，數據呈現爆炸式的增長，人們正被數據洪流所包圍，大數據的時代已經到來。正確利用大數據給人們的生活帶來了極大的便利，但與此同時也給傳統的數據管理方式帶來了極大的挑戰(zhàn)。

一、NoSQL數據庫簡介

Web1.0的時代，數據訪問量很有限，用一夫當關的高性能的單點服務器可以解決大部分問題。

隨著Web2.0的時代的到來，用戶訪問量大幅度提升，同時產生了大量的用戶數據。加上后來的智能移動設備的普及，所有的互聯網平臺都面臨了巨大的性能挑戰(zhàn)。

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，泛指非關系型的數據庫。

NoSQL 不依賴業(yè)務邏輯方式存儲，而以簡單的key-value模式存儲。因此大大的增加了數據庫的擴展能力。

Memcache Memcache Redis Redis MongoDB MongoDB 列式數據庫 列式數據庫 Hbase Hbase

HBase是Hadoop項目中的數據庫。它用于需要對大量的數據進行隨機、實時的讀寫操作的場景中。

HBase的目標就是處理數據量非常龐大的表，可以用普通的計算機處理超過10億行數據，還可處理有數百萬列元素的數據表。

Cassandra Cassandra

Apache Cassandra是一款免費的開源NoSQL數據庫，其設計目的在于管理由大量商用服務器構建起來的龐大集群上的海量數據集(數據量通常達到PB級別)。在眾多顯著特性當中，Cassandra最為卓越的長處是對寫入及讀取操作進行規(guī)模調整，而且其不強調主集群的設計思路能夠以相對直觀的方式簡化各集群的創(chuàng)建與擴展流程。

主要應用：社會關系，公共交通網絡，地圖及網絡拓譜(n*(n-1)/2)

什么是NoSQL數據庫

什么是NoSQL數據庫？從名稱“非SQL”或“非關系型”衍生而來，這些數據庫不使用類似SQL的查詢語言，通常稱為結構化存儲。這些數據庫自1960年就已經存在，但是直到現在一些大公司（例如Google和Facebook）開始使用它們時，這些數據庫才流行起來。該數據庫最明顯的優(yōu)勢是擺脫了一組固定的列、連接和類似SQL的查詢語言的限制。有時，NoSQL這個名稱也可能表示“不僅僅SQL”，來確保它們可能支持SQL。 NoSQL數據庫使用諸如鍵值、寬列、圖形或文檔之類的數據結構，并且可以如JSON之類的不同格式存儲。