基於kubernetes1.6.0+Zeppelin0.7.1 實戰

Kubernetes概述

Kubernetes是Google開源的Docker容器集羣管理系統,爲容器化的應用提供資源調度、部署運行、服務發現、擴容縮容等一整套功能。Kubernetes起源的希臘語,是領航或者舵手之意,工程領域同時代表了管理者和控制論。Kubernetes吸收了Google內部的容器管理經驗,Goolge內部使用了多年Borg(1)系統,Borg系統運行管理了千萬級的容器,根據相關的文檔顯示,Google搜索、Gmail還是谷歌地圖都結合了容器技。Borg具有3個優勢:隱藏資源管理的細節和錯誤處理,用戶更多關注應用開發本身;操作支持服務高可用、高可靠,部署的服務也滿足這兩個特點; 在成千上萬臺機器間實現了有效負載。Kubernetes項目來源於Borg,可以說是集結了Borg設計思想的精華,並且吸收了Borg系統中的經驗和教訓。本章節主要介紹Kubernetes和大數據分析工具的結合,如果需要深入瞭解其功能,建議參考官方文檔。

爲什麼要將大數據的一些分析工具進行運行到Kubernetes平臺?
- 大數據分析工具不斷不斷增多、需要一個統一的管理平臺;
- 每一個數據開發工程師都需要一個zeppelin、jupyter 或者HUE,需要很多時間部署,自助式部署成爲了企業級別的標配;同時釋放了平臺工作人員的效率;
- 多個分析工具間需要資源隔離,提供用戶體驗;
- 有的分析工具希望使用集羣裏面的GPU等異構資源;

基於kubernetes平臺的Zeppelin自助式分析工具實戰

https://www.zybuluo.com/RebornHuan/note/754908

發佈了59 篇原創文章 · 獲贊 19 · 訪問量 14萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章