原创 Zookeeper系列學習
ZooKeeper是一個分佈式的，開放源碼的分佈式應用程序協調服務。ZooKeeper的目標就是封裝好複雜易出錯的關鍵服務，將簡單易用的接口和性能高效、功能穩定的系統提供給用戶。本專欄主要從Zookeeper技術內幕和原理的角度深
2020-06-09 16:53:22
原创 文件系統學習7——文件系統隊列機制概述
前面幾小節講述linux文件系統是如何操作IO流的，本小節講述文件系統的隊列機制，主要集中在IO調度器這一層的隊列調度上。 1、隊列機制 linux中的隊列機制主要發生在IO調度器這一層，首先給出IO調度器在整個IO棧的位置，如下
2020-06-09 16:53:11
5
原创 Paxos的實際應用
上一篇說明了paxos算法是如何實現數據一致性的，這一節我們來說明常見paxos的具體實際應用，這樣可以更好的理解paxos的具體實現。 1、Paxos應用一Chubby 原理介紹 Chubby是google提出的分佈式鎖服務，G
2019-06-11 19:37:43
原创 分佈式消息隊列RabbitMQ
這篇文章簡單講述下分佈式消息隊列的基礎知識，不會太深入，因爲類似MQ這樣的分佈式組件有很多不同的種類，都有各自的特徵和其對應的應用場景，需要在實際應用中才能更加深入的理解。 整篇文章按照，分佈式消息隊列基礎知識->AMQP協議->
2019-06-11 19:37:43
原创 分佈式系統領域經典論文翻譯集
文/phylips@bmy 分佈式領域論文譯序 sql&nosql年代記 SMAQ：海量數據的存儲計算和查詢 一．google論文系列 1. google系列論文譯序 2. The anatomy
2019-05-14 12:01:44
3
原创 Paxos算法總結
上一篇講述了兩個經典的分佈式一致性協議（2PC、3PC），這篇博客開始講解paxos協議，paxos算法是目前公認的解決分佈式一致性問題最有效的算法之一。 1、起源 拜占庭將軍問題 提及paxos協議的起源，首先得說說這個“拜占庭將軍
2019-05-12 08:47:48
原创 分佈式相關理論總結
1、集中式與分佈式 集中式：80年代主流，IBM大型機，價格昂貴，性能卓越，部署簡單，但是單機擴容較爲困難。 分佈式：由多個普通pc機組成，分佈在不同的網絡上，通過消息傳遞進行通信和協調的系統 分佈式系統五gu大特點： 分佈性：多臺計
2019-05-10 04:57:15
原创 經典一致性協議總結
上篇上述了分佈式系統的一些經典理論，即在設計分佈式系統時候應該考慮的問題，那麼本篇主要講述分佈式系統中數據的一致性，即數據在不同節點中如何保證一致性的問題。 經典一致性協議，主要分爲以下三個： 二階段提交協議——2PC 三階段提交協
2019-05-10 04:57:14
原创 文件系統學習8——文件系統MQ隊列機制詳解
上一篇已經講述了MQ多隊列的機制，利用cpu的多核，配上多隊列機制，併發的處理IO請求，提高效率。 本篇詳細講述下從bio下發到IO調度器中，MQ隊列機制是如何一步步完成的。 1、MQ處理結構流圖 從整個流程圖可以看到，主要是分爲三
2019-03-09 16:31:01
36
原创 Linux IO barrier
轉載博客：https://blog.csdn.net/younger_china/article/details/51138375 I/O順序問題是一個比較綜合的問題，它涉及的層次比較多，從VFS page cache到I/O調度算法
2019-03-09 16:31:01
1
原创 塊設備層request plug/unplug機制
轉載至博客：http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=14528823&id=4778396 一、基本原理 Linux塊設備層使用了plug/unplug(蓄流/泄
2019-03-09 16:31:01
14
原创 文件系統學習6——文件系統IO子系統的補充
在第5小節詳細講述了文件系統IO子系統的相關特性，在閱讀完第5小節的文章後，本小節給出自己的一些疑惑，並對上述的疑惑進行補充說明。 疑惑1：pagecache、buffer和bufferhead的區別與聯繫 說明： 首先需要明確的是l
2019-03-03 14:50:08
原创 文件系統學習4——日誌文件系統的由來
1、日誌文件系統的由來 之前講述的都是文件系統的基本功能，但是一直都集中在數據如何存放獲取的過程上，那麼文件系統對於數據的一致性又是如何保證的呢？？ 同樣，我們從一個文件的新建開始說起，類似第三小節，一個文件的新建步驟如下： 先確定
2019-03-03 14:50:08
原创 文件系統學習3——文件系統相關操作流程
前文中講到了文件系統有哪幾類操作，這裏對沒類操作文件系統是如何尋址，如果讀寫的進行一個詳細的說明。 1、目錄樹的讀取 所有對文件的操作，給用戶看來第一步就是得知道這個文件的目錄，所以首先就需要讀取目錄。 每個目錄都是一個文件，該文件存
2019-03-03 14:50:08