MongoDb優化指南

在大數據時代中,大數據量的處理已經成了考量一個數據庫最重要的原因之一。這篇文章給大家分享MongoDb優化指南,感興趣的朋友一起看看吧

1、爲什麼選擇MongoDB?

1、性能

在大數據時代中,大數據量的處理已經成了考量一個數據庫最重要的原因之一。而MongoDB的一個主要目標就是儘可能的讓數據庫保持卓越的性能,這很大程度地決定了MongoDB的設計。在一個以傳統機械硬盤爲主導的年代,硬盤很可能會成爲性能的短板,而MongoDB選擇了最大程度而利用內存資源用作緩存來換取卓越的性能,並且會自動選擇速度最快的索引來進行查詢。MongoDB儘可能精簡數據庫,將儘可能多的操作交給客戶端,這種方式也是MongoDB能夠保持卓越性能的原因之一。

2、擴展

現在互聯網的數據量已經從過去的MB、GB變爲了現在的TB級別,單一的數據庫顯然已經無法承受,擴展性成爲重要的話題,然而現在的開發人員常常在選擇擴展方式的時候犯了難,到底是選擇橫向擴展還是縱向擴展呢?
橫向擴展(scale out)是以增加分區的方式將數據庫拆分成不同的區塊來分佈到不同的機器中來,這樣的優勢是擴展成本低但管理困難。

縱向擴展(scale up) 縱向擴展與橫向擴展不同的是他會將原本的服務器進行升級,讓其擁有更強大的計算能力。這樣的優勢是易於管理無需考慮擴展帶來的衆多問題,但缺點也顯而易見,那就是成本高。一臺大型機的價格往往非常昂貴,並且這樣的升級在數據達到極限時,可能就找不到計算能力更爲強大的機器了。

而MongoDB選擇的是更爲經濟的橫向擴展,他可以很容易的將數據拆分至不同的服務器中。而且在獲取數據時開發者也無需考慮多服務器帶來的問題,MongoDB可以將開發者的請求自動路由到正確的服務器中,讓開發者脫離橫向擴展帶來的弊病,更專注於程序的開發上。

3、使用

MongoDB採用的是NoSQL的設計方式,可以更加靈活的操作數據。在進行傳統的RDBMS中你一定遇到過幾十行甚至上百行的複雜SQL語句,傳統的RDBMS的SQL語句中包含着大量關聯,子查詢等語句,在增加複雜性的同時還讓性能調優變得更加困難。MongoDB的面向文檔(document-oriented)設計中採用更爲靈活的文檔來作爲數據模型用來取代RDBMS中的行,面向文檔的設計讓開發人員獲取數據的方式更加靈活,甚至於開發人員僅用一條語句即可查詢複雜的嵌套關係,讓開發人員不必爲了獲取數據而絞盡腦汁。

2、NoSQL對傳統數據庫設計思維的影響

1、預設計模式與動態模式

傳統數據庫設計思維中,項目的設計階段需要對數據庫表中的字段名稱、字段類型、進行規定,如果嘗試插入不符合設計的數據,數據庫不會接受這條數據以保證數據的完整性。

--數據庫字段:NAME, SONG

INSERT INTO T_INFO VALUES('John','Come Together'); --成功
INSERT INTO T_INFO VALUES('小明', 20, '[email protected]'); --失敗

NoSQL採用的是對集合(類似"表")中的文檔(類似於"行")進行動態追加,在創建集合之初不會對數據類型進行限定,任何文檔都可以追加到任何集合中去,例如我們可以將這樣兩條文檔添加到一個集合中去:

{"name" : "John", "song" : "Come Together"}
{"name" : "小明", "age":"20", "email" : [email protected]}

MongoDB中文檔的格式類似於我們常見的JSON,由此可見,我們第一個擁有"name"、"song"兩個字段,而第二個擁有"name"、"age"、"email"三個字段,這在預設計模式中的數據庫是不可能插入成功的,但在MongoDB的動態模式是可以的,這樣做的優勢是我們不必爲一些數量很少,但種類很多的字段單獨設計一張表,可以將他們集中在單獨一張表進行存儲,但這樣做的弊病也是顯而易見的,我們在獲取數據時需要對同一張表的不同文檔進行區分,增加了開發上的代碼量。所以在設計之初需要權衡動態模式的優劣來選擇表中的數據類型。

2、範式化與反範式化

範式化(normalization)是關係模型的發明者埃德加·科德於1970年提出這一概念,範式化會將數據分散到不同的表中,利用關係模型進行關聯,由此帶來的優點是,在後期進行修改時,不會影響到與其關聯的數據,僅對自身修改即可完成。

反範式化(denormalization)是針對範式化提出的相反理念,反範式化會將當前文檔的數據集中存放在本表中,而不會採用拆分的方式進行存儲。

範式化和反範式化之間不存在優劣的問題,範式化的好處是可以在我們寫入、修改、刪除時的提供更高性能,而反範式化可以提高我們在查詢時的性能。當然NoSQL中是不存在關聯查詢的,以此提高查詢性能,但我們依舊可以以在表中存儲關聯表ID的方式進行範式化。但由此可見,NoSQL的理念中反範式化的地位是大於範式化的。

3、性能與用戶量

“如何能讓軟件擁有更高的性能?”,我想這是一個大部分開發者都思考過的問題。性能往往決定了一個軟件的質量,如果你開發的是一個互聯網產品,那麼你的產品性能將更加受到考驗,因爲你面對的是廣大的互聯網用戶,他們可不是那麼有耐心的。嚴重點說,頁面的加載速度每增加一秒也許都會使你失去一部分用戶,也就是說,加載速度和用戶量是成反比的。那麼用戶能夠接受的加載速度到底是多少呢? 

 

如圖,如果頁面加載時間超過10s那麼用戶就會離開,如果1s--10s的話就需要有提示,但如果我們的頁面沒有提示的話需要多快的加載速度呢?是的,1s 。

當然,這是站在一個產品經理的角度來說的,但如果站在一個技術人員的角度來說呢?加載速度和用戶量就是成正比的,你的用戶數量越多需要處理的數據當然也就越多,加載速度當然也就越慢。這是一件很有趣的事,所以如果你的產品如果是一件激動人心的產品,那麼作爲技術人員你需要做的事就是讓軟件的性能和用戶的數量同時增長,甚至性能增長要快於用戶量的增長。

數據庫性能對軟件整體性能的影響是不言而喻的,那麼,當我們使用MongoDB時改如何提高數據庫性能呢?

4、範式化與反範式化

在項目設計階段,明確集合的用途是對性能調優非常重要的一步。

從性能優化的角度來看,集合的設計我們需要考慮的是集合中數據的常用操作,例如我們需要設計一個日誌(log)集合,日誌的查看頻率不高,但寫入頻率卻很高,那麼我們就可以得到這個集合中常用的操作是更新(增刪改)。如果我們要保存的是城市列表呢?顯而易見,這個集合是一個查看頻率很高,但寫入頻率很低的集合,那麼常用的操作就是查詢。

對於頻繁更新和頻繁查詢的集合,我們最需要關注的重點是他們的範式化程度,在上篇範式化與反範式化的介紹中我們瞭解到,範式化與反範式化的合理運用對於性能的提高至關重要。然而這種設計的使用非常靈活,假設現在我們需要存儲一篇圖書及其作者,在MongoDB中的關聯就可以體現爲以下幾種形式:

1、完全分離(範式化設計)

示例1:

{
   "_id" : ObjectId("5124b5d86041c7dca81917"),
   "title" : "如何使用MongoDB", 
   "author" : [ 
        ObjectId("144b5d83041c7dca84416"),
       ObjectId("144b5d83041c7dca84418"),
       ObjectId("144b5d83041c7dca84420"),
   ]
 }

我們將作者(comment) 的id數組作爲一個字段添加到了圖書中去。這樣的設計方式是在非關係型數據庫中常用的,也就是我們所說的範式化設計。在MongoDB中我們將與主鍵沒有直接關係的圖書單獨提取到另一個集合,用存儲主鍵的方式進行關聯查詢。當我們要查詢文章和評論時需要先查詢到所需的文章,再從文章中獲取評論id,最後用獲得的完整的文章及其評論。在這種情況下查詢性能顯然是不理想的。但當某位作者的信息需要修改時,範式化的維護優勢就凸顯出來了,我們無需考慮此作者關聯的圖書,直接進行修改此作者的字段即可。

2、完全內嵌(反範式化設計)

示例2:

{
    "_id" : ObjectId("5124b5d86041c7dca81917"),
    "title" : "如何使用MongoDB",
    "author" : [
        {
               "name" : "丁磊"
               "age" : 40,
               "nationality" : "china",
        },
        {
               "name" : "馬雲"
               "age" : 49,
               "nationality" : "china",
        },
        {
               "name" : "張召忠"
               "age" : 59,
               "nationality" : "china",
        },
   ]
 }

在這個示例中我們將作者的字段完全嵌入到了圖書中去,在查詢的時候直接查詢圖書即可獲得所對應作者的全部信息,但因一個作者可能有多本著作,當修改某位作者的信息時時,我們需要遍歷所有圖書以找到該作者,將其修改。

3、部分內嵌(折中方案)

示例3:

{
    "_id" : ObjectId("5124b5d86041c7dca81917"),
    "title" : "如何使用MongoDB",
    "author" : [ 
        {
               "_id" : ObjectId("144b5d83041c7dca84416"),
               "name" : "丁磊"
        },
        {
               "_id" : ObjectId("144b5d83041c7dca84418"),
               "name" : "馬雲"
        },
        {
               "_id" : ObjectId("144b5d83041c7dca84420"),
               "name" : "張召忠"
        },
   ]
 }

這次我們將作者字段中的最常用的一部分提取出來。當我們只需要獲得圖書和作者名時,無需再次進入作者集合進行查詢,僅在圖書集合查詢即可獲得。

這種方式是一種相對摺中的方式,既保證了查詢效率,也保證的更新效率。但這樣的方式顯然要比前兩種較難以掌握,難點在於需要與實際業務進行結合來尋找合適的提取字段。如同示例3所述,名字顯然不是一個經常修改的字段,這樣的字段如果提取出來是沒問題的,但如果提取出來的字段是一個經常修改的字段(比如age)的話,我們依舊在更新這個字段時需要大範圍的尋找並依此進行更新。

在上面三個示例中,第一個示例的更新效率是最高的,但查詢效率是最低的,而第二個示例的查詢效率最高,但更新效率最低。所以在實際的工作中我們需要根據自己實際的需要來設計表中的字段,以獲得最高的效率。

5、理解填充因子

何爲填充因子?

填充因子(padding factor)是MongoDB爲文檔的擴展而預留的增長空間,因爲MongoDB的文檔是以順序表的方式存儲的,每個文檔之間會非常緊湊,如圖所示。

  (注:圖片出處:《MongoDB The Definitive Guide》)

1.元素之間沒有多餘的可增長空間。

2.當我們對順序表中某個元素的大小進行增長的時候,就會導致原來分配的空間不足,只能要求其向後移動。

3.當修改元素移動後,後續插入的文檔都會提供一定的填充因子,以便於文檔頻繁的修改,如果沒有不再有文檔因增大而移動的話,後續插入的文檔的填充因子會依此減小。

填充因子的理解之所以重要,是因爲文檔的移動非常消耗性能,頻繁的移動會大大增加系統的負擔,在實際開發中最有可能會讓文檔體積變大的因素是數組,所以如果我們的文檔會頻繁修改並增大空間的話,則一定要充分考慮填充因子。

那麼如果我們的文檔是個常常會擴展的話,應該如何提高性能?

兩種方案

1、增加初始分配空間。在集合的屬性中包含一個 usePowerOf2Sizes 屬性,當這個選項爲true時,系統會將後續插入的文檔,初始空間都分配爲2的N次方。

這種分配機制適用於一個數據會頻繁變更的集合使用,他會給每個文檔留有更大的空間,但因此空間的分配不會像原來那樣高效,如果你的集合在更新時不會頻繁的出現移動現象,這種分配方式會導致寫入速度相對變慢。

2、我們可以利用數據強行將初始分配空間擴大。

db.book.insert({
  "name" : "MongoDB",
  "publishing" : "清華大學出版社",
  "author" : "john"
  "tags" : []
  "stuff" : "ggggggggggggggggggggggggggggggggggggg
        ggggggggggggggggggggggggggggggggggggg
        ggggggggggggggggggggggggggggggggggggg"
})

是的,這樣看起來可能不太優雅...但有時卻很有效!當我們對這個文檔進行增長式修改時,只要將stuff字段刪掉即可。當然,這個stuff字段隨便你怎麼起名,包括裏邊的填充字符當然也是可以隨意添加的。  

6、準確利用索引

索引對於一個數據庫的影響相信大家一定了解,如果一個查詢命令進入到數據庫中後,查詢優化器沒有找到合適的索引,那麼數據庫會進行全集合掃描(在RDBMS中也叫全表掃描),全集合查詢對於性能的影響是災難性的。

沒有索引的查詢就如同在詞典那毫無規律的海量詞彙中獲得某個你想要的詞彙,但這個詞典是沒有目錄的,只能通過逐頁來查找。這樣的查找可能會讓你耗費幾個小時的時間,但如果要求你查詢詞彙的頻率如同用戶訪問的頻率一樣的話。。。嘿嘿,我相信你一定會大喊“老子不幹了!”。顯然計算機不會這樣喊,它一直是一個勤勤懇懇的員工,不論多麼苛刻的請求他都會完成。所以請通過索引善待你的計算機:D。

在MongoDB中索引的類型與RDBMS中大體一致,我們不做過多重複,我們來看一下在MongoDB中如何才能更高效的利用索引。

6.1 索引越少越好

索引可以極大地提高查詢性能,那麼索引是不是越多越好?答案是否定的,並且索引並非越多越好,而是越少越好。每當你建立一個索引時,系統會爲你添加一個索引表,用於索引指定的列,然而當你對已建立索引的列進行插入或修改時,數據庫則需要對原來的索引表進行重新排序,重新排序的過程非常消耗性能,但應對少量的索引壓力並不是很大,但如果索引的數量較多的話對於性能的影響可想而知。所以在創建索引時需要謹慎建立索引,要把每個索引的功能都要發揮到極致,也就是說在可以滿足索引需求的情況下,索引的數量越少越好。

隱式索引

//建立複合索引
db.test.ensureIndex({"age": 1,"no": 1,"name": 1 })
我們在查詢時可以迅速的將age,no字段進行排序,隱式索引指的是如果我們想要排序的字段包含在已建立的複合索引中則無需重複建立索引。
db.test.find().sort("age": 1,"no": 1)
db.test.find().sort("age": 1)

如以上兩個排序查詢,均可使用上面的複合索引,而不需要重新建立索引。

翻轉索引

//建立複合索引
db.test.ensureIndex({"age": 1})

翻轉索引很好理解,就是我們在排序查詢時無需考慮索引列的方向,例如這個例子中我們在查詢時可以將排序條件寫爲"{'age': 0}",依舊不會影響性能。

6.2 索引列顆粒越小越好

什麼叫顆粒越小越好?在索引列中每個數據的重複數量稱爲顆粒,也叫作索引的基數。如果數據的顆粒過大,索引就無法發揮該有的性能。例如,我們擁有一個"age"列索引,如果在"age"列中,20歲佔了50%,如果現在要查詢一個20歲,名叫"Tom"的人,我們則需要在表的50%的數據中查詢,索引的作用大大降低。所以,我們在建立索引時要儘量將數據顆粒小的列放在索引左側,以保證索引發揮最大的作用。       

總結

以上所述是小編給大家介紹的MongoDb優化指南,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回覆大家的。在此也非常感謝大家對神馬文庫網站的支持!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章