YARN,一個完全重寫的 Hadoop 集羣架構

  YARN的特性

  YARN 提供了多種其他的優秀特性。介紹所有這些特性不屬於本文的範疇,這裏僅列出一些值得注意的特性:

  1. 如果作業足夠小,Uberization 支持在 ApplicationMaster 的 JVM 中運行一個 MapReduce 作業的所有任務。這樣,您就可避免從 ResourceManager 請求容器以及要求 NodeManagers 啓動(可能很小的)任務的開銷。

  2. 與爲 MRv1 編寫的 MapReduce 作業的二進制或源代碼兼容性 (MAPREDUCE-5108)。

  3. 針對 ResourceManager 的高可用性 (YARN-149)。此工作正在進行中,已由一些供應商完成。

  4. 重新啓動 ResourceManager 後的應用程序恢復 (YARN-128)。ResourceManager 將正在運行的應用程序和已完成的任務的信息存儲在 HDFS 中。如果 ResourceManager 重新啓動,它會重新創建應用程序的狀態,僅重新運行不完整的任務。此工作已接近完成,社區正在積極測試。它已由一些供應商完成。

  5. 簡化的用戶日誌管理和訪問。應用程序生成的日誌不會留在各個從屬節點上(像 MRv1 一樣),而轉移到一箇中央存儲區,比如 HDFS。在以後,它們可用於調試用途,或者用於歷史分析來發現性能問題。

  6. Web 界面的新外觀。

  YARN的總體概括

  YARN 是一個完全重寫的 Hadoop 集羣架構。它似乎在商用機器集羣上實現和執行分佈式應用程序的方式上帶來了變革。

  與第一版 Hadoop 中經典的 MapReduce 引擎相比,YARN 在可伸縮性、效率和靈活性上提供了明顯的優勢。小型和大型 Hadoop 集羣都從 YARN 中受益匪淺。對於最終用戶(開發人員,而不是管理員),這些更改幾乎是不可見的,因爲可以使用相同的 MapReduce API 和 CLI 運行未經修改的 MapReduce 作業。

  沒有理由不將 MRv1 遷移到 YARN。最大型的 Hadoop 供應商都同意這一點,而且爲 Hadoop YARN 的運行提供了廣泛的支持。如今,YARN 已被許多公司成功應用在生產中,比如 Yahoo!、eBay、Spotify、Xing、Allegro 等。



  大連好的性病醫院 http://nk.84211111.com/

  大連做人流多少錢 http://www.fkyy120.net/

  大連治療陽痿早泄醫院 http://www.84211111.net/


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章