【遊戲神通：雲存儲帶動了存儲領域的熱潮】
如果說2000~2005年是網絡設備技術的浪潮，一大批硅谷和全世界Startup公司都借網絡技術之名得以成功IPO，那麼繼網絡概念之後，存儲可能是下一個 very promising 的方向，又造就了一批借存儲概念得以/即將上市或者成功賣出的公司 (DataDomain, MAID, Falconstor, Panasas, 北京龍存科技，深圳創新科存儲，還有少不了的華三、華賽)；對各位廣大技術工作者而言，這就意味着這個方向已經成爲了熱點職業，對於即將轉戰存儲領域或者已經身在存儲行業的同學位而言，就不得不緊密跟蹤瞭解存儲技術的最新前沿發展方向，而追蹤最新技術的最好方法就是查看近期相關 行業會議 成果，下載和閱讀學習 slides 和 papers：
(更好的是親身參與其中一兩個，但你的公司可能不夠 sponsor 你或自己資金不夠付”門票+機票+酒店”旅行費用或者時間精力上也不夠時，你至少可以下載這些 slides 和 papers 來學習、研究)
工業界
SNIA, 全稱存儲網絡工業協會 (Storage Netwokring Industry Association)，是總部在硅谷，最初由幾家存儲行業(EMC,NetApp,…)巨頭聯合成立的工業協會，其組織的一年一度的 Storage Developer Conference 可能是這個領域最大規模的行業會議了，差不多固定每年九月份在硅谷小城 Santa Clara 召開，雖然門票不菲 USD$1,400, 可每年仍然吸引了 world wide 數千人蔘與，最近三年的成果在
http://www.snia.org/events/storage-developer2009/presentations
http://www.snia.org/events/storage-developer2008/presentations
http://www.snia.org/events/storage-developer2007/presentations
每年都有 EMC,NetApp,SUN,IBM,HP,Dell,LSI, … 話題按照 CIFS/NFS/iSCSI/本地文件系統/備份技術 等分別組織，近年來又加入了熱點話題 Cloud 和 固態存儲 (Solid State Storage), Data Deduplication 技術，
值得關注的是 09 年 “CIFS Acceleration Techniques”, 08 年 “Accelerating iSCSI Proxy I/O” 等話題對 WAN Optimizer 網絡設備公司 (深圳市深信服、新加坡 Jitcomm) 同樣有啓示意義，而 2007年的其中一位 Keynote Speaker 是 GNU 的 Richard Stallman, 講述 Free Software in Ethics, Practice, and Licensing, 這在一個側面暗中顯示了在自由/開源軟件領域，存儲方向的軟件也在成熟：在史前時代，由於自由/開源的軟件不豐富讓相關領域只能由大公司纔有成本掌控研發，初創公司無從進入；2000年後，Linux-2.4網絡netfilter/iptables技術的成熟和Freeswan/OpenVPN軟件的成熟開始降低了網絡技術的入行門檻，也讓Netscreen/Fortinet成爲了可能，能夠敢於挑戰Cisco去一較高下，同時伴隨的是GPL侵權事件也在同步增加，如Netscreen德國GPL侵權案，美國 Tivolization 侵權案。同樣，大概05年後 Linux上 Software RAID/LVM 虛擬卷管理/XFS 的成熟，配合 Samba/iSCSI Target/open-iscsi 系列軟件的成熟也讓存儲行業的入行門檻大爲降低，初創公司的成長也往往伴隨着GPL侵權事件，因此 GNU, FSF, Richard Stallman 有必要在各界呼籲大家採用自由軟件的所需要注意的法律問題，當然最好的實踐就是把軟件全部都GPL了，源碼之前了無祕密～
有意今年前往的同學不妨關注 SDC2010 網站，爭取個 Early Bird 價，
http://www.snia.org/events/storage-developer2010
September 18 – 23, 2010, Hyatt Regency Hotel Santa Clara, CA
Storage-Academy 是SNIA的下屬機構，和分散在世界各地的駐點，包括中國區、南亞(新加坡)、EMEA區(歐洲、中東、非洲)，選擇東南亞的中心當然就是新加坡了，前不久二月份活動才過，本人申請了免費參加(有免費領取紀念品和750GB移動硬盤的抽獎機會誰想錯過呢？)，會場無非也就是 EMC,NetApp,Dell,HP 存儲大廠各自表述一番， Data Dedeuplication/Solid State Storage/Amazon Cloud S3 最新技術前景，值得注意的是會場還包括 Cisco, 不知何時加入存儲戰團的，其FCoE技術看起來不錯的說，其意圖在局域網領域取代iSCSI，不過 iSCSI vs. FCoE vs. ATAoE 誰最終勝出還很難說；另一個值得關注的是 新加坡國家數據存儲實驗室 DSI, 屬於 ASTAR (新加坡科技局)下屬機構，這個小國家的科技發展勢頭不錯，待後續篇幅再說。
http://www.storage-academy.com/singapore/
http://www.storage-academy.com/south_asia/
接下來 Storage-Academy 在三、四、五、六月份還會在 Dubai UAE(阿聯酋)、德國、英國、意大利有後續活動，有興趣的同學不妨關注是否經過所在城市，也可以申請免費參會；
http://www.storage-academy.com/
這次 Storage Academy Singapore 的會議資料是保密下載，不過我在此把它公開了，密碼是 sgdel10 地址在
http://www.storage-academy.com/presentations/sg/
Linux Storage & Filesystem workshop, 這個LSF在08年以前一直是在 usenix 舉辦的，自 09 年轉移到 Linux Foundation 舉辦，以前是偏學術方式研究 Linux 的 Storage & Filesystem 技術，現在是直接由工業界的 LF 直接承辦了，內容也是 Filesystem (local filesystem, networking filesystem), iSCSI/NFS/CIFS, Data Deduplication/SSD 等話題，但偏重只在 Linux 上的代碼實現，相對於 SNIA 會綜合討論 Linux/BSD/Solaris/Windows 或平臺無關的存儲技術而言；
http://www.usenix.org/event/lsf08/tech/
http://www.usenix.org/event/lsf07/tech/
自2010年起的 LSF Workshop 改成了LSF Summit, 邀請制
August 8 – 9, 2010 · Renaissance Boston Waterfront, Boston, MA
http://events.linuxfoundation.org/events/lsf-summit
學術界
Usenix FAST, 全稱爲文件與存儲技術會議 (Conference on File and Storage Technologies), 自03年開始，到今年的 FAST’10 已是第8屆，也是剛剛二月份纔在硅谷 San Jose 纔開過，入場費每年約USD$900,如果非usenix會員另+$125;
http://www.usenix.org/events/fast10/tech/
下載到 FAST’10 Proceedings 從目錄上看起來嘗試解決 SSD Lifetime /Data Deduplication 問題的 idea 很多，但能付諸工業實踐的恐怕不多，學術界就是這樣，有些人甚至只發 paper 而什麼代碼都不給，去信問到能不能給一份 Evaluation 數據的代碼，回覆是不能、或者根本沒有回覆；就是沒有 GNU 的境界；
“DFS: A File System for Virtualized Flash Storage” 來自 Princeton University 的 William K. Josephson，指導教授中包含有 原 DataDomain 李凱 Li Kai <[email protected]>, 其針對 Flash 存儲(也就是SSD) 發明了一種 Direct File System, 與 現有 yaffs, jffs2, ext3 的不同在於引入了一種新式的Flash存儲抽象層，比現有 Flash Translation Layer 更簡單和高效，稱爲 VFSL (Virtualized Flash Storage Layer), 在這個抽象層的基礎之上再實現一個遵照傳統的POSIX文件系統；整個 paper 說的看起來很完美，還作了 Benchmark 數據顯示其與 ext3 比較的 性能提升，不爽的是沒有找到其DFS源代碼，似乎是不公佈的。而且其 References 引用多是80,90年代的資料，殊不知 Linux 的發展日新月異, yaffs,jffs2,ext3 早過時了， 在 Raw Flash (NOR/NAND) 方面，有 2.6.27 內核引入的 由 Nokia 貢獻的 Ubi/UbiFS, 其 Ubi 就是超越 FTL 的新的Flash抽象層，在 SSD 方面有 2.6.30 引入的 NilFS2, 最新的 btrfs 也包含針對 SSD 的支持。通用文件系統方面 Ext4 已經遠勝 ext3 了。
“Extending SSD Lifetimes with Disk-Based Write Caches” 這篇來自 Toronto 大學的 Gokul Soundararajan 介紹了其延長 SSD 壽命的技術，基本思想是使用 硬盤 HDD 作爲緩衝，再基於策略(定時、定量)作數據遷移。看起來技術很具有顛覆性，顛覆了我們日常對SSD技術應用的看法，現代 Segate 等大廠已經在改進 溫徹斯特硬盤 技術，利用內置少量 SSD 的高性能隨機訪問來改進硬盤整體隨機訪問性能；沒想到這位高人能夠想到反其道而用之，利用硬盤來延長 SSD 壽命。
IEEE Storage Conference IEEE 組織的存儲技術會議，尚瞭解不多，待後續報道。
http://storageconference.org/
總體上還是很贊 usenix 的說，不管什麼會議，會後總能找到 papers/slides 資料免費下載，而且有永久存檔站，錯過了時間點還是能下載到；不像其它有些會議，資料不給下載或是要收費下載，很頹廢地說。(相比 SNIA 的會議資料是三個月後才免費開放。)
另類存儲：
二月份在 SMU 有一個學術研討會， 來自 NTU (南洋理工大學) 的 Anwitaman DATTA 教授講解 p2p storage 方面研究的最新進展， 什麼 p2p+storage ? 當時我看到這個標題時也是被當場雷到了， p2p 用來做下載還可以，用來上傳備份有用的數據？ p2p 用戶中誰會願意貢獻自己的存儲空間來保存別人的冗餘的數據？ Storage 需要的是高性能和高可靠的存取數據，很多公司、普通用戶甚至使用專用的機器來備份數據還不夠，怎麼能夠信任 Internet 上的陌生人的 存儲空間？ 這位印度裔教授講解其基本原理和整個系統能夠 run 起來的先決條件，就是冗餘度，有足夠的 user base, 足夠的冗餘，整個存儲系統 的利用效率是 (1/冗餘度R), 通常 p2p 用戶是不確定的，隨時可能上線和離線，假設上線用戶平均是全部用戶的 1/N, 整個用戶基數 (user base) 必須 >= … 我當時 challenge 了一個問題： “but who has the incentive to be willing to use such a p2p storage system?” 回覆 “we don’t care, we just do the research model, but if user base requirements satisfied, people would like to, maybe…”
“P2P Storage Systems – Algorithms, Analysis and Applications”
http://www.sis.smu.edu.sg/research/diagram/anwitaman_datta.htm
from 彎曲評論