mongoDB中的冪等性

冪等

 

冪等（idempotent、idempotence）是一個數學與計算機學概念，常見於抽象代數中。

在編程中，一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。

冪等函數，或冪等方法，是指可以使用相同參數重複執行，並能獲得相同結果的函數。這些函數不會影響系統狀態，也不用擔心重複執行會對系統造成改變。例如，“setTrue()”函數就是一個冪等函數,無論多次執行，其結果都是一樣的.更復雜的操作冪等保證是利用唯一交易號(流水號)實現。

看懂了嗎？這個解釋比較抽象，不要着急。接下來看一下什麼是冪等性問題。
 

冪等性問題

 

所謂冪等，簡單地說，就是對接口的多次調用所產生的結果和調用一次是一致的。擴展一下，這裏的接口，可以理解爲對外發布的HTTP接口或者其他接口，也可以是接收消息的內部接口，甚至是一個內部方法或操作。

那麼我們爲什麼需要接口具有冪等性呢？設想一下以下情形：

• 在App中下訂單的時候，點擊確認之後，沒反應，就又點擊了幾次。在這種情況下，如果無法保證該接口的冪等性，那麼將會出現重複下單問題。
• 在接收消息的時候，消息推送重複。如果處理消息的接口無法保證冪等，那麼重複消費消息產生的影響可能會非常大。

在分佈式環境中，網絡環境更加複雜，因前端操作抖動、網絡故障、消息重複、響應速度慢等原因，對接口的重複調用概率會比集中式環境下更大，尤其是重複消息在分佈式環境中很難避免。

分佈式環境中，有些接口是天然保證冪等性的，如查詢操作。有些對數據的修改是一個常量，並且無其他記錄和操作，那也可以說是具有冪等性的。其他情況下，所有涉及對數據的修改、狀態的變更就都有必要防止重複性操作的發生。通過間接的實現接口的冪等性來防止重複操作所帶來的影響，成爲了一種有效的解決方案。

看了上面App的例子好理解多了。那冪等性在併發系統中如何保證呢？
 

高併發系統中如何保證數據冪等性

 

在系統開發過程中，經常遇到數據重複插入、重複更新、消息重發發送等等問題，因爲應用系統的複雜邏輯以及網絡交互存在的不確定性，會導致這一重複現象，但是有些邏輯是需要有冪等特性的，否則造成的後果會比較嚴重，例如訂單重複創建，這時候帶來的問題可是非同一般啊。

一、系統的冪等性

     冪等是數據中得一個概念，表示N次變換和1次變換的結果相同。

二、高併發的系統如何保證冪等性

1、查詢

    查詢的API，可以說是天然的冪等性，因爲你查詢一次和查詢兩次，對於系統來講，沒有任何數據的變更，所以，查詢一次和查詢多次一樣的；

2、MVCC方案

    多版本併發控制，update with condition更新帶條件，這也是在系統設計的時候，合理的選擇樂觀鎖，通過version或者其他條件，來做樂觀鎖，這樣保證更新及時在併發的情況下，也不會有太大的問題。

   例如update table_xxx set name=#name#,version=version+1 where version=#version# ,或者是 update table_xxx set quality=quality-#subQuality# where quality-#subQuality# >= 0

3、單獨的去重表

    如果涉及到的去重的地方特別多，例如ERP系統中有各種各樣的業務單據，每一種業務單據都需要去重，這時候，可以單獨搞一張去重表，在插入數據的時候，插入去重表，利用數據庫的唯一索引特性，保證唯一的邏輯；

4、分佈式鎖

    還是拿插入數據的例子，如果是分佈是系統，構建唯一索引比較困難，例如唯一性的字段沒法確定，這時候可以引入分佈式鎖，通過第三方的系統，在業務系統插入數據或者更新數據，獲取分佈式鎖，然後做操作，之後釋放鎖，這樣其實是把多線程併發的鎖的思路，引入多多個系統，也就是分佈式系統中得解決思路；

5、刪除數據

  刪除數據，僅僅第一次刪除是真正的操作數據，第二次甚至第三次刪除，直接返回成功，這樣保證了冪等；

6、插入數據的唯一索引

   插入數據的唯一性，可以通過業務主鍵來進行約束，例如一個特定的業務場景，三個字段肯定確定唯一性，那麼，可以在數據庫表添加唯一索引來進行標示。

   這裏有一個場景，API層面的冪等，例如提交數據，如何控制重複提交，這裏可以在提交數據的form表單或者客戶端軟件，增加一個唯一標示，然後服務端，根據這個UUID來進行去重，這樣就能比較好的做到API層面的唯一標示

看到這裏，你也許對冪等性已經有了深入的理解。最後，我們看一下MongoDB中的冪等性。

MongoDB中的冪等性

 

MongoDB是由C++語言所編寫的一種面向文檔的非關係型數據庫（是一種NoSql數據庫實現），也是介於關係型數據庫和非關係型數據庫之間的數據存儲產品，其提供了高性能、高可用、高可拓展及基於分佈式存儲的數據庫，是非關係型數據庫中功能最豐富，最類似關係型數據庫的一種集合、文檔格式的數據庫。

在MongoDB中，文檔的操作不支持事務，但是其對文檔的保存，修改及刪除等都是原子的，也就是要麼操作完成，要麼操作不完成，不存在中間不確定狀態，因此可以保證數據的完整性。
MongoDB官方提供了一種做法，就是分兩階段提交，基本原理就是利用寫操作的冪等性，但是有個前提條件：業務實現過程中，可以忽略中間態的不一致性，但最終結果是一致的，實際上絕大多數需求，只要結果一致就可，也希望MongoDB在這方面做更好的拓展和優化。

1、數據模型
舉個例子，不過我們需要爲文檔新增一個計數器字段，它沒有實際的業務作用，只是用來作爲操作原子性的標誌位avaliable，具體代碼如下：
{
     "_id" :ObjectId("57e89964b316d2e13cc0ba9b"),
     "username" :"[email protected]",
     "nickname" : "marky",
     "address" : "雲端路1024號，柯南私募基金大廈",
     "contact" :"13141250012",
     "created" : "2012-07-07",
     "orders" : [
         ObjectId("57e89b3ab316d2e13cc0ba9c"),
         ObjectId("57e89bcfb316d2e13cc0ba9d")
     ],
     "available": 1
}

注意：
此種添加一個計數器標誌位的方式雖然可以實現原子性，但對於業務的緊密度及可理解方面不友好，所以實際上，我們只在比較敏感的文檔操作時才使用，比如：金錢交易等。
 
2、如何操作
如何操作？其實就是使用findAndModify()方法實現即可，如果找到的文檔的計數器available值不爲-1爲大於0時，則代表有新的操作狀態，然後在更新新的操作，同時同步修改available爲默認值，具體如下：
>db.user.findAndModify({query:{_id:ObjectId("57e89964b316d2e13cc0ba9b"), available:{$gt:0}},update:{$inc:{ available:-1},$set:{created:'2012-07-08'}}})
 
返回的結果：
{
     "_id" : ObjectId("57e89964b316d2e13cc0ba9b"),
     "username" :"[email protected]",
     "nickname" : "marky",
     "address" : "雲端路1024號，柯南私募基金大廈",
     "contact" :"13141250012",
     "created" :"2012-07-08",
     "orders" : [
         ObjectId("57e89b3ab316d2e13cc0ba9c"),
         ObjectId("57e89bcfb316d2e13cc0ba9d")
     ],
     " available" : 0
}


~~~~~~~ the end~~~~~~~~~