原创 分佈式存儲系統設計 - Vector Clock vs. Client Timestamps

本文轉自http://hi.baidu.com/quest2run/blog/item/0462243b11d7d63597ddd898.html 對存在寫衝突的配置,如 (W+R <= N),需要有衝突解決方案,典型的是:矢量時鐘和客戶

原创 TFS與其他分佈式存儲系統的對比分析

TFS與其他分佈式存儲系統的對比分析   1 概述 TFS(Taobao File System),作爲目前淘寶內部使用並開源的分佈式文件系統,爲淘寶提供海量小文件存儲以及其他一些功能,被廣泛地應用在淘寶各項應用中。其他分佈式存儲系統,這

原创 從tfs優化看分佈式存儲系統

        因爲TFS是採用星型的設計架構的,通過一個Nameserver和多個Dataserver來對外進行服務,並且Nameserver中的元數據均是存放在內存中,因此如何減少Nameserver中內存的佔用量,以及如何提高Nam

原创 ATS系列之插件編寫步驟

1   c語言編寫插件框架,需要包含TSPluginInit 入口函數 2    tsxs -o -i (install)hello-world.so -c hello-world.c  (類似於apxs 編寫apache的mo

原创 大量小文件的實時同步方案

傳統的文件同步方案有rsync(單向) 和 unison(雙向)等,它們需要掃描所有文件後進行比對,差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將非常耗時。而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。 之前

原创 TFS中的NS架構

       從總的功能上說,Nameserver(以下簡稱Ns)具體包括以下幾個功能。由於Ns(不管是主還是備)需要知道自己的狀態是否正常,於是Ns有一個自身的健康狀態檢查。另外,主Ns需要知道備Ns的狀態,於是主備Ns之間有個定期Ke

原创 關於租約,關於我的第一篇技術博客

             我從高中開始就有寫點東西的習慣,不過都是一些對某些事情的感想,對於技術博客倒真沒寫過,有的也僅僅是轉載。上次在新浪微博裏看到很多IT牛人建議,如果貢獻不了代碼,貢獻一些技術文檔也

原创 Heartbeat安裝

Heartbeat提供了高可用集羣最基本的功能,例如,節點間的內部通信方式、集羣合作管理機制、監控工具和失效切換功能等。但是Heartbeat僅僅是個HA軟件,它僅能完成心跳監控和資源接管,不會監視它控制的資源或應用程序。要監控資源和