生命力旺盛！Hadoop10大應用（含8家潛力企業）
談到Hadoop應用，如果僅將目光集中在爲搜索引擎提供動力或者爲廣告服提供用戶行爲分析的平臺上，那麼顯然有所侷限。本文提供了搜索以及廣告分析以外的10個應用領域，和在這些領域中通過使用Hadoop而獲得成功的多家創新型企業。也許相比互聯網巨頭並不知名，但卻代表了Hadoop的生命力——在行業端商務領域的新拓展方向。
Hadoop12個典型應用領域
最近，在Hadoop最新版本的發佈會上，Cloudera COO Kirk Dunn和業內一些專家指出了Hadoop在不同領域的應用案例。這與我近些年來關注的方向相同。爲此，特別總結出在線旅遊、移動數據、電子商務、能源發現、能源節省、基礎設施管理、圖像處理、欺詐檢測、IT安全和醫療保健這十個領域，這其中，幾乎每個領域都有我曾採訪過的創新企業。當然，我也相信，在這些企業之外，還有更多的應用空間等待挖掘。
1. 在線旅遊（Online travel）。Dunn表示，目前Cloudera的Hadoop架構正在爲80%左右的全球在線旅遊預定服務。儘管其並沒有提及這些客戶的名字，但是去年的時候我曾對應用了Hadoop的一家企業Orbitz Worldwide做了採訪。Orbitz CEO Barney Harford當時表示，受益於Hadoop架構，他們極爲輕鬆地實現了諸多的數據分析工作，並在其中得出“MAC用戶比Windows用戶願意支付20美元的成本來預訂酒店”，這樣的影響範圍很廣的調查結論。當然，在他看來，Hadoop本身並不能帶來如此的神奇效應，但是其可以幫助發現以前從來沒有發現的數據點，進而使分析和挖掘成爲了可能。延伸閱讀：我是如何發現MAC用戶比Windows用戶更大方的？
2. 移動數據（Mobile data）。這是Dunn的另一項“匿名”統計，Cloudera爲“70%美國智能手機”提供服務。我認爲他談論的是通過無線方式存儲和處理移動數據，以及有關市場份額的數學可以幫助他們鎖定客戶。
3. 電子商務（E-commerce）。Dunn所談的Cloudera第三個市場是美國超過10,000,000家網上商店。Dunn說一家大型零售商（我認爲說的是eBay，作爲一個主要的Hadoop用戶並且成功經營着大型零售賣場來幫助數百萬商人銷售）在使用了Hadoop後僅90天內就增加了3%的淨利潤。延伸閱讀：爲什麼eBay大部分工程師都愛Hadoop？
4. 能源發現（Energy discovery）。在Cloudera的圓桌會議上，來自行業的一位代表 Chevron 解釋了爲什麼他們選擇了Hadoop：我們採用Hadoop來對數據進行排序和整理，而這些數據全部來自從海洋深處地震時產生的數據，而其背後有可能意味着石油儲量。
5. 能源節省（Energy savings）。與 Chevron目標截然相反，Opower使用Hadoop來提升電力服務，儘量爲用戶節省在資源方面的投入。一個代表小組注意到，某些特定功能，如精確並長期的費用預測如果沒有Hadoop幾乎很難完成。據瞭解，Opower現在管理着30TB的信息，其中包括來自5000萬用戶（橫跨60個公共事業部）能源數據，氣象與人口方面的公共及私人數據，歷史信息，地理數據及其他。這些都是通過超過20個MySQL數據庫和一個Hadoop集羣來存儲和處理的。延伸閱讀：能源行業Opower的大數據規劃
6. 基礎設施管理（Infrastructure management）。這是一個比較常見的應用方向，實際上，隨着更多的公司（Esty，我最近採訪過）從服務器、交換機及其他IT設備商收集並分析數據，Hadoop更有市場。在Cloudera發佈會中，NetApp代表指出他們公司收集設備日誌（現在已經超過1PB的容量了），並將它們存儲在Hadoop中。事實上，Esty是專門從事國產與復古商品的電子商務網站，現在已經超過110萬的用戶，250萬的獨立訪問量和11億的頁面瀏覽量。舉個例子，通過Splunk管理和分析的集羣數據已經到了每天1TB的量級。Esty每晚都要在以 Elastic MapReduce Hadoop service爲基礎的亞馬遜雲計算平臺上運行數十種Hadoop工作流程。根據一些詳細技術報告，其運行差不多5000 Hadoop job是在2011年5月份來分析來自內部運行數據和外部活動數據如用戶行爲變化。延伸閱讀：Esty如何構建大數據平臺！
7. 圖像處理（Image processing）。一家創業型企業Skybox Imaging，利用Hadoop來存儲和處理高來自衛星捕捉的高分辨率圖像，並嘗試將這些信息及圖像與地理格局的變化相對應。延伸閱讀：Skybox新投7000萬美元在雲中處理圖像
8. 欺詐檢測（Fraud detection）。這已經是老生常談了，在金融服務機構和情報機構中，欺詐檢測一直都是關注的重點。一家企業，Zions Bancorporation向我講述了他們是如何利用Hadoop來存儲所有數據，並對客戶交易和現貨異常進行判斷，對可能存在欺詐行爲提前預警的。延伸閱讀：銀行正在使用Hadoop來幫助抵禦攻擊！
9. IT安全（IT security）。如基礎設施管理一樣，企業通過使用Hadoop來處理機器產生的數據，以識別惡意軟件和網絡攻擊模式。去年，ipTrus通過使用Hadoop來指定IP地址的名譽得分（在0-1之間的得分，O等於沒有防線或未知的風險），從而使其他安全產品可以判斷是否接受來自這些來源的通信，IBM和HP都使用ipTrust的安全產品。延伸閱讀：ipTrus：殺死互聯網僵屍網絡！
10. 醫療保健（Health care）。我認爲有很多方法可使更多的醫療保健醫生從Hadoop中受益。但是最常見的仍然在搜索領域。去年，我介紹的Apixio，利用Hadoop平臺開發了語義分析服務，可以對病人的健康提供醫生、護士、及其他相關人士的回答。Apixio試圖通過對醫療記錄進行先進的技術分析，與一個簡單的基於雲計算的搜索引擎來幫助醫生迅速瞭解病人相關病史，挽救生命。延伸閱讀：Apixio促進“雲”中醫療數據共享（編譯/郭雪梅）