重慶分公司,新征程啟航
為企業(yè)提供網(wǎng)站建設(shè)、域名注冊、服務(wù)器等服務(wù)
為企業(yè)提供網(wǎng)站建設(shè)、域名注冊、服務(wù)器等服務(wù)
Web1.0的時(shí)代,數(shù)據(jù)訪問量很有限,用一夫當(dāng)關(guān)的高性能的單點(diǎn)服務(wù)器可以解決大部分問題。
創(chuàng)新互聯(lián)主營焉耆網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,app軟件開發(fā)公司,焉耆h5微信小程序定制開發(fā)搭建,焉耆網(wǎng)站營銷推廣歡迎焉耆等地區(qū)企業(yè)咨詢
隨著Web2.0的時(shí)代的到來,用戶訪問量大幅度提升,同時(shí)產(chǎn)生了大量的用戶數(shù)據(jù)。加上后來的智能移動(dòng)設(shè)備的普及,所有的互聯(lián)網(wǎng)平臺(tái)都面臨了巨大的性能挑戰(zhàn)。
NoSQL(NoSQL = Not Only SQL ),意即“不僅僅是SQL”,泛指非關(guān)系型的數(shù)據(jù)庫。
NoSQL 不依賴業(yè)務(wù)邏輯方式存儲(chǔ),而以簡單的key-value模式存儲(chǔ)。因此大大的增加了數(shù)據(jù)庫的擴(kuò)展能力。
Memcache Memcache Redis Redis MongoDB MongoDB 列式數(shù)據(jù)庫 列式數(shù)據(jù)庫 Hbase Hbase
HBase是Hadoop項(xiàng)目中的數(shù)據(jù)庫。它用于需要對大量的數(shù)據(jù)進(jìn)行隨機(jī)、實(shí)時(shí)的讀寫操作的場景中。
HBase的目標(biāo)就是處理數(shù)據(jù)量非常龐大的表,可以用普通的計(jì)算機(jī)處理超過10億行數(shù)據(jù),還可處理有數(shù)百萬列元素的數(shù)據(jù)表。
Cassandra Cassandra
Apache Cassandra是一款免費(fèi)的開源NoSQL數(shù)據(jù)庫,其設(shè)計(jì)目的在于管理由大量商用服務(wù)器構(gòu)建起來的龐大集群上的海量數(shù)據(jù)集(數(shù)據(jù)量通常達(dá)到PB級別)。在眾多顯著特性當(dāng)中,Cassandra最為卓越的長處是對寫入及讀取操作進(jìn)行規(guī)模調(diào)整,而且其不強(qiáng)調(diào)主集群的設(shè)計(jì)思路能夠以相對直觀的方式簡化各集群的創(chuàng)建與擴(kuò)展流程。
主要應(yīng)用:社會(huì)關(guān)系,公共交通網(wǎng)絡(luò),地圖及網(wǎng)絡(luò)拓譜(n*(n-1)/2)
一般nosql適用的場景都是讀多寫少,因?yàn)閿?shù)據(jù)庫主要壓力來自于用戶的讀取數(shù)據(jù)。
本質(zhì)是因?yàn)椋弘S著互聯(lián)網(wǎng)的進(jìn)一步發(fā)展與各行業(yè)信息化建設(shè)進(jìn)程加快、參與者的增多,人們對軟件有了更多更新的要求,需要軟件不僅能實(shí)現(xiàn)功能,而且要求保證許多人可以共同參與使用,因而軟件所需承載的數(shù)據(jù)量和吞吐量必須達(dá)到相應(yīng)的需求。而目前的關(guān)系型數(shù)據(jù)庫在某些方面有一些缺點(diǎn),導(dǎo)致不能滿足需要。
具體則需要對比關(guān)系型數(shù)據(jù)庫與Nosql之間的區(qū)別可以得出
關(guān)系型數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫把所有的數(shù)據(jù)都通過行和列的二元表現(xiàn)形式表示出來。
關(guān)系型數(shù)據(jù)庫的優(yōu)勢:
1.?保持?jǐn)?shù)據(jù)的一致性(事務(wù)處理)
2.由于以標(biāo)準(zhǔn)化為前提,數(shù)據(jù)更新的開銷很小(相同的字段基本上都只有一處)
3.?可以進(jìn)行Join等復(fù)雜查詢
其中能夠保持?jǐn)?shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫的最大優(yōu)勢。
關(guān)系型數(shù)據(jù)庫的不足:
不擅長的處理
1.?大量數(shù)據(jù)的寫入處理(這點(diǎn)尤為重要)
2.?為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)(schema)變更
3.?字段不固定時(shí)應(yīng)用
4.?對簡單查詢需要快速返回結(jié)果的處理
--大量數(shù)據(jù)的寫入處理
讀寫集中在一個(gè)數(shù)據(jù)庫上讓數(shù)據(jù)庫不堪重負(fù),大部分網(wǎng)站已使用主從復(fù)制技術(shù)實(shí)現(xiàn)讀寫分離,以提高讀寫性能和讀庫的可擴(kuò)展性。
所以在進(jìn)行大量數(shù)據(jù)操作時(shí),會(huì)使用數(shù)據(jù)庫主從模式。數(shù)據(jù)的寫入由主數(shù)據(jù)庫負(fù)責(zé),數(shù)據(jù)的讀入由從數(shù)據(jù)庫負(fù)責(zé),可以比較簡單地通過增加從數(shù)據(jù)庫來實(shí)現(xiàn)規(guī)模化,但是數(shù)據(jù)的寫入?yún)s完全沒有簡單的方法來解決規(guī)模化問題。
第一,要想將數(shù)據(jù)的寫入規(guī)模化,可以考慮把主數(shù)據(jù)庫從一臺(tái)增加到兩臺(tái),作為互相關(guān)聯(lián)復(fù)制的二元主數(shù)據(jù)庫使用,確實(shí)這樣可以把每臺(tái)主數(shù)據(jù)庫的負(fù)荷減少一半,但是更新處理會(huì)發(fā)生沖突,可能會(huì)造成數(shù)據(jù)的不一致,為了避免這樣的問題,需要把對每個(gè)表的請求分別分配給合適的主數(shù)據(jù)庫來處理。
第二,可以考慮把數(shù)據(jù)庫分割開來,分別放在不同的數(shù)據(jù)庫服務(wù)器上,比如將不同的表放在不同的數(shù)據(jù)庫服務(wù)器上,數(shù)據(jù)庫分割可以減少每臺(tái)數(shù)據(jù)庫服務(wù)器上的數(shù)據(jù)量,以便減少硬盤IO的輸入、輸出處理,實(shí)現(xiàn)內(nèi)存上的高速處理。但是由于分別存儲(chǔ)字不同服務(wù)器上的表之間無法進(jìn)行Join處理,數(shù)據(jù)庫分割的時(shí)候就需要預(yù)先考慮這些問題,數(shù)據(jù)庫分割之后,如果一定要進(jìn)行Join處理,就必須要在程序中進(jìn)行關(guān)聯(lián),這是非常困難的。
--為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)變更
在使用關(guān)系型數(shù)據(jù)庫時(shí),為了加快查詢速度需要?jiǎng)?chuàng)建索引,為了增加必要的字段就一定要改變表結(jié)構(gòu),為了進(jìn)行這些處理,需要對表進(jìn)行共享鎖定,這期間數(shù)據(jù)變更、更新、插入、刪除等都是無法進(jìn)行的。如果需要進(jìn)行一些耗時(shí)操作,例如為數(shù)據(jù)量比較大的表創(chuàng)建索引或是變更其表結(jié)構(gòu),就需要特別注意,長時(shí)間內(nèi)數(shù)據(jù)可能無法進(jìn)行更新。
--字段不固定時(shí)的應(yīng)用
如果字段不固定,利用關(guān)系型數(shù)據(jù)庫也是比較困難的,有人會(huì)說,需要的時(shí)候加個(gè)字段就可以了,這樣的方法也不是不可以,但在實(shí)際運(yùn)用中每次都進(jìn)行反復(fù)的表結(jié)構(gòu)變更是非常痛苦的。你也可以預(yù)先設(shè)定大量的預(yù)備字段,但這樣的話,時(shí)間一長很容易弄不清除字段和數(shù)據(jù)的對應(yīng)狀態(tài),即哪個(gè)字段保存有哪些數(shù)據(jù)。
--對簡單查詢需要快速返回結(jié)果的處理? (這里的“簡單”指的是沒有復(fù)雜的查詢條件)
這一點(diǎn)稱不上是缺點(diǎn),但不管怎樣,關(guān)系型數(shù)據(jù)庫并不擅長對簡單的查詢快速返回結(jié)果,因?yàn)殛P(guān)系型數(shù)據(jù)庫是使用專門的sql語言進(jìn)行數(shù)據(jù)讀取的,它需要對sql與越南進(jìn)行解析,同時(shí)還有對表的鎖定和解鎖等這樣的額外開銷,這里并不是說關(guān)系型數(shù)據(jù)庫的速度太慢,而只是想告訴大家若希望對簡單查詢進(jìn)行高速處理,則沒有必要非使用關(guān)系型數(shù)據(jù)庫不可。
NoSQL數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫應(yīng)用廣泛,能進(jìn)行事務(wù)處理和表連接等復(fù)雜查詢。相對地,NoSQL數(shù)據(jù)庫只應(yīng)用在特定領(lǐng)域,基本上不進(jìn)行復(fù)雜的處理,但它恰恰彌補(bǔ)了之前所列舉的關(guān)系型數(shù)據(jù)庫的不足之處。
優(yōu)點(diǎn):
易于數(shù)據(jù)的分散
各個(gè)數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫得名的主要原因,為了進(jìn)行join處理,關(guān)系型數(shù)據(jù)庫不得不把數(shù)據(jù)存儲(chǔ)在同一個(gè)服務(wù)器內(nèi),這不利于數(shù)據(jù)的分散,這也是關(guān)系型數(shù)據(jù)庫并不擅長大數(shù)據(jù)量的寫入處理的原因。相反NoSQL數(shù)據(jù)庫原本就不支持Join處理,各個(gè)數(shù)據(jù)都是獨(dú)立設(shè)計(jì)的,很容易把數(shù)據(jù)分散在多個(gè)服務(wù)器上,故減少了每個(gè)服務(wù)器上的數(shù)據(jù)量,即使要處理大量數(shù)據(jù)的寫入,也變得更加容易,數(shù)據(jù)的讀入操作當(dāng)然也同樣容易。
典型的NoSQL數(shù)據(jù)庫
臨時(shí)性鍵值存儲(chǔ)(memcached、Redis)、永久性鍵值存儲(chǔ)(ROMA、Redis)、面向文檔的數(shù)據(jù)庫(MongoDB、CouchDB)、面向列的數(shù)據(jù)庫(Cassandra、HBase)
一、 鍵值存儲(chǔ)
它的數(shù)據(jù)是以鍵值的形式存儲(chǔ)的,雖然它的速度非常快,但基本上只能通過鍵的完全一致查詢獲取數(shù)據(jù),根據(jù)數(shù)據(jù)的保存方式可以分為臨時(shí)性、永久性和兩者兼具 三種。
(1)臨時(shí)性
所謂臨時(shí)性就是數(shù)據(jù)有可能丟失,memcached把所有數(shù)據(jù)都保存在內(nèi)存中,這樣保存和讀取的速度非常快,但是當(dāng)memcached停止時(shí),數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中,所以無法操作超出內(nèi)存容量的數(shù)據(jù),舊數(shù)據(jù)會(huì)丟失。總結(jié)來說:
。在內(nèi)存中保存數(shù)據(jù)
。可以進(jìn)行非常快速的保存和讀取處理
。數(shù)據(jù)有可能丟失
(2)永久性
所謂永久性就是數(shù)據(jù)不會(huì)丟失,這里的鍵值存儲(chǔ)是把數(shù)據(jù)保存在硬盤上,與臨時(shí)性比起來,由于必然要發(fā)生對硬盤的IO操作,所以性能上還是有差距的,但數(shù)據(jù)不會(huì)丟失是它最大的優(yōu)勢。總結(jié)來說:
。在硬盤上保存數(shù)據(jù)
。可以進(jìn)行非常快速的保存和讀取處理(但無法與memcached相比)
。數(shù)據(jù)不會(huì)丟失
(3) 兩者兼?zhèn)?/p>
Redis屬于這種類型。Redis有些特殊,臨時(shí)性和永久性兼具。Redis首先把數(shù)據(jù)保存在內(nèi)存中,在滿足特定條件(默認(rèn)是?15分鐘一次以上,5分鐘內(nèi)10個(gè)以上,1分鐘內(nèi)10000個(gè)以上的鍵發(fā)生變更)的時(shí)候?qū)?shù)據(jù)寫入到硬盤中,這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度,又可以通過寫入硬盤來保證數(shù)據(jù)的永久性,這種類型的數(shù)據(jù)庫特別適合處理數(shù)組類型的數(shù)據(jù)。總結(jié)來說:
。同時(shí)在內(nèi)存和硬盤上保存數(shù)據(jù)
。可以進(jìn)行非常快速的保存和讀取處理
。保存在硬盤上的數(shù)據(jù)不會(huì)消失(可以恢復(fù))
。適合于處理數(shù)組類型的數(shù)據(jù)
二、面向文檔的數(shù)據(jù)庫
MongoDB、CouchDB屬于這種類型,它們屬于NoSQL數(shù)據(jù)庫,但與鍵值存儲(chǔ)相異。
(1)不定義表結(jié)構(gòu)
即使不定義表結(jié)構(gòu),也可以像定義了表結(jié)構(gòu)一樣使用,還省去了變更表結(jié)構(gòu)的麻煩。
(2)可以使用復(fù)雜的查詢條件
跟鍵值存儲(chǔ)不同的是,面向文檔的數(shù)據(jù)庫可以通過復(fù)雜的查詢條件來獲取數(shù)據(jù),雖然不具備事務(wù)處理和Join這些關(guān)系型數(shù)據(jù)庫所具有的處理能力,但初次以外的其他處理基本上都能實(shí)現(xiàn)。
三、?面向列的數(shù)據(jù)庫
Cassandra、HBae、HyperTable屬于這種類型,由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長,這種類型的NoSQL數(shù)據(jù)庫尤其引入注目。
普通的關(guān)系型數(shù)據(jù)庫都是以行為單位來存儲(chǔ)數(shù)據(jù)的,擅長以行為單位的讀入處理,比如特定條件數(shù)據(jù)的獲取。因此,關(guān)系型數(shù)據(jù)庫也被成為面向行的數(shù)據(jù)庫。相反,面向列的數(shù)據(jù)庫是以列為單位來存儲(chǔ)數(shù)據(jù)的,擅長以列為單位讀入數(shù)據(jù)。
面向列的數(shù)據(jù)庫具有搞擴(kuò)展性,即使數(shù)據(jù)增加也不會(huì)降低相應(yīng)的處理速度(特別是寫入速度),所以它主要應(yīng)用于需要處理大量數(shù)據(jù)的情況。另外,把它作為批處理程序的存儲(chǔ)器來對大量數(shù)據(jù)進(jìn)行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫跟現(xiàn)行數(shù)據(jù)庫存儲(chǔ)的思維方式有很大不同,故應(yīng)用起來十分困難。
總結(jié):關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并非對立而是互補(bǔ)的關(guān)系,即通常情況下使用關(guān)系型數(shù)據(jù)庫,在適合使用NoSQL的時(shí)候使用NoSQL數(shù)據(jù)庫,讓NoSQL數(shù)據(jù)庫對關(guān)系型數(shù)據(jù)庫的不足進(jìn)行彌補(bǔ)。
nosql分類太多了,下面列舉幾個(gè)比較常見的:
Redis:非常適合需要表達(dá)時(shí)間線的web服務(wù),例如微博
Cassandra:只有順序?qū)懀瑳]有隨機(jī)寫的設(shè)計(jì),滿足高負(fù)荷情形的性能需求
MongoDB:面向文檔,擅長處理非結(jié)構(gòu)化數(shù)據(jù)
Neo4J:可以快速實(shí)現(xiàn)基于圖的計(jì)算(如果用SQL計(jì)算可能花更長的時(shí)間)
希望對你所有幫助。
NoSQL與關(guān)系型數(shù)據(jù)庫設(shè)計(jì)理念比較關(guān)系型數(shù)據(jù)庫中的表都是存儲(chǔ)一些格式化的數(shù)據(jù)結(jié)構(gòu),每個(gè)元組字段的組成都一樣,即使不是每個(gè)元組都需要所有的字段,但數(shù)據(jù)庫會(huì)為每個(gè)元組分配所有的字段,這樣的結(jié)構(gòu)可以便于表與表之間進(jìn)行連接等操作,但從另一個(gè)角度來說它也是關(guān)系型數(shù)據(jù)庫性能瓶頸的一個(gè)因素。而非關(guān)系型數(shù)據(jù)庫以鍵值對存儲(chǔ),它的結(jié)構(gòu)不固定,每一個(gè)元組可以有不一樣的字段,每個(gè)元組可以根據(jù)需要增加一些自己的鍵值對,這樣就不會(huì)局限于固定的結(jié)構(gòu),可以減少一些時(shí)間和空間的開銷。特點(diǎn):它們可以處理超大量的數(shù)據(jù)。它們運(yùn)行在便宜的PC服務(wù)器集群上。它們擊碎了性能瓶頸。沒有過多的操作。Bootstrap支持缺點(diǎn):但是一些人承認(rèn),沒有正式的官方支持,萬一出了差錯(cuò)會(huì)是可怕的,至少很多管理人員是這樣看。此外,nosql并未形成一定標(biāo)準(zhǔn),各種產(chǎn)品層出不窮,內(nèi)部混亂,各種項(xiàng)目還需時(shí)間來檢驗(yàn)