原创 Bacula測試報告

0.實驗準備 爲了能測試bacula的性能,我在兩臺服務器上搭建了bacula平臺,分別稱爲53和62。在62上安裝了全部三方,而在53上只安裝Storage Daemon和File Daemon。一共準備3種數據集,分別是documen

原创 重複數據刪除和SSD的互補方法

/******************************* * 信息存儲專題課程作業 * 重複數據刪除技術和SSD技術的互補方法 *******************************/ 摘要 重複數據刪除和SSD

原创 擬人擬物法求解不等圓Packing問題

NP難度這門課還是比較有意思的,老師佈置了一道作業,寫一個用擬人擬物法求解不等圓Packing問題的小程序。 問題描述:在一個已知的容器中希望能放下N個不同形狀大小的物體,其中界限容器的封閉邊境以及各個物體都是不可入的剛性實體,如果客觀上

原创 VMFS簡介:數據組織,鎖和寫時拷貝

VMFS(Virtual Machine File System)是VMWare爲其VMWare ESX Server和VMWare Infrastructure產品開發的集羣文件系統。它主要用來存儲虛擬機的磁盤鏡像,設計的初衷是爲了讓多

原创 主文件系統 vs 二級文件系統 (EMC篇)

文主要基於FAST11和FAST12的兩篇論文:A study of practical deduplication和Characteristics of backup workloads in production systems。前者

原创 Redis的內存碎片

Redis默認使用jemalloc分配內存,根據fast'14的最佳論文的說法,當遇到變長key-value負載時,會出現碎片問題:內存利用率低,實際分配的內存比所需要的內存多。因此我用YCSB對Redis的內存進行了測試。 實驗的第1

原创 谷歌技術"三寶"之BigTable

2006年的OSDI有兩篇google的論文,分別是BigTable和Chubby。Chubby是一個分佈式鎖服務,基於Paxos算法;BigTable是一個用於管理結構化數據的分佈式存儲系統,構建在GFS、Chubby、SSTable等

原创 誰養魚(四):遺傳算法的實現

1 簡介 根據達爾文的進化論,生物種羣從低級、簡單的類型逐漸發展成爲高級、複雜的類型。各種生物要生存下去就必須進行生存鬥爭,具有較強生存能力的生物個體容易存活下來,並有較多的機會產生後代;具有較低生存能力的生物則被淘汰,或者產生後代的機會

原创 大話存儲

這本書買了一年了,最近終於比較完整的讀了一遍,感覺收穫不少,應該寫一篇讀後感吧。 首先這本書是講存儲的,市面上關於存儲的書少之又少,好書就更是稀缺資源,這本書可以說一定程度上彌補了資料的缺失。書裏幾乎涉及到了存儲的方方面面,涵蓋了磁盤、R

原创 谷歌技術"三寶"之谷歌文件系統

題記:初學分佈式文件系統,寫篇博客加深點印象。GFS的特點是使用一堆廉價的商用計算機支撐大規模數據處理。 雖然"The Google File System " 是03年發表的老文章了,但現在仍被廣泛討論,其對後來的分佈式文件系統設計具有

原创 主文件系統 vs 二級文件系統 (微軟篇)

本文主要基於FAST11和FAST12的兩篇論文:A study of practical deduplication和Characteristics of backup workloads in production systems。前

原创 關聯規則挖掘(二):Apriori算法

1 算法簡介 在數據挖掘領域,Apriori算法是挖掘關聯規則的經典算法。Apriori算法採用的是自底向上的方法,從1-頻繁集開始,逐步找出高階頻繁集。 它的基本流程是:第一次掃描交易數據庫D時,產生1-頻繁集。在此基礎上經過連接、修剪

原创 三種二叉樹遍歷的非遞歸實現

今天偶然翻出了很久以前寫的一篇博客,是關於三種二叉樹遍歷的非遞歸實現的,轉到這兒來吧。程序都是僞代碼,因爲是考研複習期間寫的,數據結構參考了嚴蔚敏的《數據結構》。 先看遞歸實現: void Traverse(BiTree T){

原创 谷歌技術"三寶"之MapReduce

江湖傳說永流傳:谷歌技術有"三寶",GFS、MapReduce和大表(BigTable)! 谷歌在03到06年間連續發表了三篇很有影響力的文章,分別是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTa

原创 最佳論文:構建高性能的重複數據刪除系統

USENIX年度會議(USENIX Annual Technical Conference)是計算機體系結構的頂級會議之一,每年舉辦一次。2011年ATC會議的最佳論文獎被來自賽門鐵克的一篇論文摘得:Building a High-per