MapReduce的性能優化之概覽

一、調優的目的
   充分的利用機器的性能，更快的完成mr程序的計算任務。甚至是在有限的機器條件下，能夠支持運行足夠多的mr程序。
二、調優的總體概述
   從mr程序的內部運行機制，我們可以瞭解到一個mr程序由mapper和reducer兩個階段組成，
   其中mapper階段包括數據的讀取、map處理以及寫出操作(排序和合並/sort&merge)，
   而reducer階段包含mapper輸出數據的獲取、數據合併(sort&merge)、reduce處理以及寫出操作。
   那麼在這七個子階段中，能夠進行較大力度的進行調優的就是map輸出、reducer數據合併以及reducer個數這三個方面的調優操作。
   也就是說雖然性能調優包括cpu、內存、磁盤io以及網絡這四個大方面，
   但是從mr程序的執行流程中，我們可以知道主要有調優的是內存、磁盤io以及網絡。
   在mr程序中調優，主要考慮的就是減少網絡傳輸和減少磁盤IO操作，故本次課程的mr調優主要包括服務器調優、代碼調優、mapper調優、reducer調優以及runner調優這五個方面。
三、服務器調優
   服務器調優主要包括服務器參數調優和jvm調優。
   在本次項目中，由於我們使用hbase作爲我們分析數據的原始數據存儲表，所以對於hbase我們也需要進行一些調優操作。除了參數調優之外，和其他一般的java程序一樣，還需要進行一些jvm調優。

   hdfs調優
   1. dfs.datanode.failed.volumes.tolerated: 允許發生磁盤錯誤的磁盤數量，默認爲0，表示不允許datanode發生磁盤異常。當掛載多個磁盤的時候，可以修改該值。
   2. dfs.replication: 複製因子，默認3
   3. dfs.namenode.handler.count: namenode節點併發線程量，默認10
   4. dfs.datanode.handler.count：datanode之間的併發線程量，默認10。
   5. dfs.datanode.max.transfer.threads：datanode提供的數據流操作的併發線程量，默認4096。
      一般將其設置爲linux系統的文件句柄數的85%~90%之間，查看文件句柄數語句ulimit -a，修改vim /etc/security/limits.conf, 添加* soft nofile 262144 & * hard nofile 262144
         注意：句柄數不能夠太大，可以設置爲1000000以下的所有數值，一般不設置爲-1。
         異常處理：當設置句柄數較大的時候，重新登錄可能出現unable load session的提示信息，這個時候採用單用戶模式進行修改操作即可。
            單用戶模式：
               啓動的時候按'a'鍵，進入選擇界面，然後按'e'鍵進入kernel修改界面，然後選擇第二行'kernel...'，按'e'鍵進行修改，
               在最後添加空格+single即可，按回車鍵回到修改界面，最後按'b'鍵進行單用戶模式啓動，當啓動成功後，還原文件後保存，最後退出(exit)重啓系統即可。
   6. io.file.buffer.size: 讀取/寫出數據的buffer大小，默認4096，一般不用設置，推薦設置爲4096的整數倍(物理頁面的整數倍大小)。

   hbase調優
   1. 設置regionserver的內存大小，默認爲1g，推薦設置爲4g。
      修改conf/hbase-env.sh中的HBASE_HEAPSIZE=4g
   2. hbase.regionserver.handler.count: 修改客戶端併發線程數，默認爲10。設置規則爲，當put和scans操作比較的多的時候，將其設置爲比較小的值；當get和delete操作比較多的時候，將其設置爲比較大的值。原因是防止頻繁GC操作導致內存異常。
   3. 自定義hbase的分割和緊縮操作，默認情況下hbase的分割機制是當region大小達到hbase.hregion.max.filesize(10g)的時候進行自動分割，推薦每個regionserver的region個數在20~500個爲最佳。hbase的緊縮機制是hbase的一個非常重要的管理機制，hbase的緊縮操作是非常消耗內存和cpu的，所以一般機器壓力比較大的話，推薦將其關閉，改爲手動控制。
   4. hbase.balancer.period： 設置hbase的負載均衡時間，默認爲300000(5分鐘)，在負載比較高的集羣上，將其值可以適當的改大。
   5. hfile.block.cache.size：修改hflie文件塊在內存的佔比，默認0.4。在讀應用比較多的系統中，可以適當的增大該值，在寫應用比較多的系統中，可以適當的減少該值，不過不推薦修改爲0。
   6. hbase.regionserver.global.memstore.upperLimit：修改memstore的內存佔用比率上限，默認0.4，當達到該值的時候，會進行flush操作將內容寫的磁盤中。
   7. hbase.regionserver.global.memstore.lowerLimit: 修改memstore的內存佔用比率下限，默認0.38，進行flush操作後，memstore佔用的內存比率必須不大於該值。
   8. hbase.hregion.memstore.flush.size: 當memstore的值大於該值的時候，進行flush操作。默認134217728(128M)。
   9. hbase.hregion.memstore.block.multiplier: 修改memstore阻塞塊大小比率值，默認爲4。也就是說在memstore的大小超過4*hbase.hregion.memstore.flush.size的時候就會觸發寫阻塞操作。最終可能會導致出現oom異常。

   mapreduce調優
   1. mapreduce.task.io.sort.factor: mr程序進行合併排序的時候，打開的文件數量，默認爲10個.
   2. mapreduce.task.io.sort.mb: mr程序進行合併排序操作的時候或者mapper寫數據的時候，內存大小，默認100M
   3. mapreduce.map.sort.spill.percent： mr程序進行flush操作的閥值，默認0.80。
   4. mapreduce.reduce.shuffle.parallelcopies：mr程序reducer copy數據的線程數，默認5。
   5. mapreduce.reduce.shuffle.input.buffer.percent: reduce複製map數據的時候指定的內存堆大小百分比，默認爲0.70，適當的增加該值可以減少map數據的磁盤溢出，能夠提高系統性能。
   6. mapreduce.reduce.shuffle.merge.percent：reduce進行shuffle的時候，用於啓動合併輸出和磁盤溢寫的過程的閥值，默認爲0.66。如果允許，適當增大其比例能夠減少磁盤溢寫次數，提高系統性能。同mapreduce.reduce.shuffle.input.buffer.percent一起使用。
   7. mapreduce.task.timeout：mr程序的task執行情況彙報過期時間，默認600000(10分鐘)，設置爲0表示不進行該值的判斷。

四、代碼調優
   代碼調優，主要是mapper和reducer中，針對多次創建的對象，進行代碼提出操作。這個和一般的java程序的代碼調優一樣。
五、mapper調優
   mapper調優主要就是就一個目標：減少輸出量。我們可以通過增加combine階段以及對輸出進行壓縮設置進行mapper調優。
   combine介紹：
      實現自定義combine要求繼承reducer類，特點：
      以map的輸出key/value鍵值對作爲輸入輸出鍵值對，作用是減少網絡輸出，在map節點上就合併一部分數據。
      比較適合，map的輸出是數值型的，方便進行統計。
   壓縮設置：
      在提交job的時候分別設置啓動壓縮和指定壓縮方式。
六、reducer調優
   reducer調優主要是通過參數調優和設置reducer的個數來完成。
   reducer個數調優：
      要求：一個reducer和多個reducer的執行結果一致，不能因爲多個reducer導致執行結果異常。
      規則：一般要求在hadoop集羣中的執行mr程序，map執行完成100%後，儘量早的看到reducer執行到33%，可以通過命令hadoop job -status job_id或者web頁面來查看。
         原因： map的執行process數是通過inputformat返回recordread來定義的；而reducer是有三部分構成的，分別爲讀取mapper輸出數據、合併所有輸出數據以及reduce處理，其中第一步要依賴map的執行，所以在數據量比較大的情況下，一個reducer無法滿足性能要求的情況下，我們可以通過調高reducer的個數來解決該問題。
      優點：充分利用集羣的優勢。
      缺點：有些mr程序沒法利用多reducer的優點，比如獲取top n的mr程序。
七、runner調優
   runner調優其實就是在提交job的時候設置job參數，一般都可以通過代碼和xml文件兩種方式進行設置。
   1~8詳見ActiveUserRunner(before和configure方法)，9詳解TransformerBaseRunner(initScans方法)

   1. mapred.child.java.opts: 修改childyard進程執行的jvm參數，針對map和reducer均有效，默認：-Xmx200m
   2. mapreduce.map.java.opts： 需改map階段的childyard進程執行jvm參數，默認爲空，當爲空的時候，使用mapred.child.java.opts。
   3. mapreduce.reduce.java.opts：修改reducer階段的childyard進程執行jvm參數，默認爲空，當爲空的時候，使用mapred.child.java.opts。
   4. mapreduce.job.reduces： 修改reducer的個數，默認爲1。可以通過job.setNumReduceTasks方法來進行更改。
   5. mapreduce.map.speculative：是否啓動map階段的推測執行，默認爲true。其實一般情況設置爲false比較好。可通過方法job.setMapSpeculativeExecution來設置。
   6. mapreduce.reduce.speculative：是否需要啓動reduce階段的推測執行，默認爲true，其實一般情況設置爲fase比較好。可通過方法job.setReduceSpeculativeExecution來設置。
   7. mapreduce.map.output.compress：設置是否啓動map輸出的壓縮機制，默認爲false。在需要減少網絡傳輸的時候，可以設置爲true。
   8. mapreduce.map.output.compress.codec：設置map輸出壓縮機制，默認爲org.apache.hadoop.io.compress.DefaultCodec，推薦使用SnappyCodec(在之前版本中需要進行安裝操作，現在版本不太清楚，安裝參數：http://www.cnblogs.com/chengxin1982/p/3862309.html)
   9. hbase參數設置
      由於hbase默認是一條一條數據拿取的，在mapper節點上執行的時候是每處理一條數據後就從hbase中獲取下一條數據，通過設置cache值可以一次獲取多條數據，減少網絡數據傳輸。