摘要：
昨天參加了iData技術嘉年華的技術沙龍，分享一下自己的見聞和一點感觸
本次主題：
《企業中的海量數據處理》
主要有三個主講，
不寫文字了，直接上圖片吧
主講內容
第一場：主講HBase
之前爲了聽講座自己專門到網上百度了一下HBase的一點知識，具體自己沒有使用過，在這裏簡單的說一下Hbase：
HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集羣。
它介於nosql和RDBMS之間，僅能通過主鍵(row key)和主鍵的range來檢索數據，僅支持單行事務(可通過hive支持來實現多表join等複雜操作)。主要用來存儲非結構化和半結構化的鬆散數據。
主講內容：林昊首先介紹了淘寶在使用HBase遇到的一些問題和bug，自己沒有使用過，所以印象也不深，接下來就是一些建議和總結了；
-
關於使用HBSASE的使用場景建議：
- HBase技術現在相當於1.0版本之前的關係型數據庫（HBase技術還處於一個較弱的技術階段，相對應比較成熟的關係型數據庫技術還是有許多不足）
- 瞬間寫入量很大的作業（業務側重寫操作的作業）
- 數據量需要長久保存且持續增長的場景（例如淘寶的數據需要保存十年，hbase可以很容易的在廉價的pc 服務器上搭建集羣，在淘寶上的應用是買家三個月之前的訂單信息，就是使用HBASE技術）
-
淘寶總結的HBSASE經驗：
- 合理設計rowKey（有很多問題通過合理的設計rowkey可以避免）
- 數據備份和恢復機制（HBASE有個bug，很容易造成數據丟失，最新版本可能解決這個問題）
- 關閉split 同時region數量也不要太多
最後說了一下在HBASE技術在行業的應用和發展趨勢；排名前十的網站，大概除了谷歌，百度，騰訊（未知）基本上都使用了HBASE技術，而且hbase技術在國外很火，相信國內的這個hbase技術也會熱起來。
PS:第二場主講的信息量很大，基本上沒有聽懂，自己也沒有什麼印象
第三場：主講網易的大型架構
汪院長在主講的時候很謙虛的說：自己的數據量沒有淘寶大，沒有使用hbase，
-
網易架構和數據處理分享
- 底層的pc Server都是使用低價的服務器
- websever使用了nginx做反向代理，web緩存好像是squid（這個沒有聽清）
- 數據庫是mysql，不過網易自己搞了一個數據庫引擎（在講解的時候也有一個對比：這個引擎相對應mysql InnoDB引擎是他的十倍，是mencache+mysql的三四倍）
- memcache網易也是使用的，在一定程度上緩解數據庫壓力
- 關於NOsql，網易還是習慣使用比較成熟的關係型數據庫，對nosql的數據庫使用的不是很多，汪院長也解釋到網易現在使用Tokyo Cabinet，主要是insert的效率很高，每秒可以達到數萬級別的插入，但是update的操作很差，目前沒有使用比較流行的mongodb
- 。。。。。。（記不清了，哈哈）
題外話
淘寶的講座主要還是新技術的使用，相對應網易，整體感覺網易的講座，沒有太多的新型應用，不過把現有的資源和技術發揮到極致其實也很牛逼,把這兩家企業的講座對比起來確實很有意思
個人對兩家講座的感覺
- 淘寶很有創新精神，喜歡新技術
- 網易很保守，善於把現有技術做透
ps：這裏順便說一下兩家公司的創始人給我的印象：
- 馬雲：很激情，很能侃，大學的時候經常看贏在中國，印象很深，馬雲也經常跑到高校演講，被譽爲創業教父，很能侃也很能感染人不愧是教師出身（雖然哥哥我也是師範專業，但是這點哥哥我自愧不如，只能到博客園寫篇博客，供大家哈哈一笑）
- 丁磊：沉穩低調，很少看到丁磊在公開場合做演講，雖然丁磊曾經拿過一箇中國首富，估計大家對着首富印象也不是很深，太低調太沉穩了，很是網易的風格，求穩慢性子，丁磊是搞程序出身，這個點體現的很突出
總結：
- 公司的創始人確實很能影響整個公司的發展趨勢，如馬雲激情，淘寶在新技術上的創新，是一家高調做事的公司，丁磊低調，網易在技術上的以現有技術爲主，另外還有一點：網易雖然排不上中國互聯網前三強，但是要論收入的話，網易絕對是前三，是一家埋頭掙錢的公司。
BTY:找工作的時候也需要看老闆，公司老闆在一定程度上影響這個公司發展趨勢和風格
2.關於新技術，老技術的看法：新技術是一種趨勢，需要大家去推動，同樣現有的成熟技術也不能忽略，也需要大家做深做透，不可一味的求新，現有的成熟技術也很重要，具體是採用哪種技術，需要根據目前的項目來評估，切忌爲了採取新技術而採取新技術。
最後的ps：杭州的交通太堵了，尤其是莫干山往西湖風景區的公交車，基本上到了變態級別的地步，在站臺等車，公交信息離本站還有5分鐘/1250m，這1250m讓我整整等了40分鐘，對此我深深的無語窒息了。。。。
，hadoop,PHP10086
本文基於署名-非商業性使用
3.0許可協議發佈，歡迎轉載，演繹，但是必須保留本文的署名：PHP淮北(蔡友)：http://www.cnblogs.com/phphuaibei，也可以郵件與我聯繫。
