大家期待的Linkis on kubernetes的容器化解決方案來啦!
Linkis 0.10.0是在微衆銀行的傾力幫助下,由艾佳生活主導完成的一個重要版本。
這是基於Linkis 0.9.4的下一個發行版本。Linkis docker鏡像會作爲製成品發佈,可以節省大家編譯、排包和適配新環境的大量時間,基於cgroup隔離可以保證每個Linkis微服務不會由於超賣而影響其他Linkis微服務,做到cpu,mem,io,disk的隔離,讓Linkis的每個微服務持續穩定提供服務。
k8s提供的滾動發佈,彈性伸縮,故障遷移能力,讓Linkis做到高SLA,滿足業務7*24使用的要求,爲大家的大數據平臺提供金融級可靠能力。
1. linkis on kubernetes 特性。
2. kubernetes configmap 作爲配置中心特性。
3. 使用 ingress-nginx 把nginx 放入kubernetes集羣內。
4. 使用 fluentd-es 採集 micro-service日誌。
6. 適配k8s 網絡模型,註冊 pod ip 到註冊中心用作服務發現。
7. 使用環境變量傳遞 eurekaURL,jvm params。
8. 去除各微服務對cloudmodule的隱式依賴。
9. 靜態路由+ip 地址僞裝,解決spark executor 到 spark-engine的通信問題。
Linkis 0.10.0 的發佈,離不開WeDataSphere社區的貢獻者,他們無私地貢獻自己的代碼,積極地與社區夥伴進行技術交流,有了他們的助力,Linkis 0.10.0才能順利地發佈,在此感謝各位社區的貢獻者! 排名不分先後:
brianzhangrong: 作爲主持者,貢獻了linkis on kubernetes的整個方案。
irusist: bml stored filename bug定位。
chongchuanbing: 移除對cloud-module的隱式依賴。
lidongzhangg: linkis.properties配置移到configmap,使用configmap作爲配置中心。
hds1999: 使用環境變量傳遞eurekaUrl,jvm 參數到docker。
Linkis 0.10.0是Linkis容器化的一個關鍵版本,該版本一經商討和規劃,就獲得了WeDataSphere開源社區的強烈關注,社區對艾佳生活大數據團隊的傾情參與和無私貢獻致謝,並對Linkis 0.10.0的版本質量給予了高度的認可。
WeDataSphere社區與艾佳生活大數據團隊進行了多次線上溝通,深入交流了Linkis的總體架構、技術理念和合作共建規劃,社區對艾佳生活大數據團隊架構師brianzhangrong(社區ID:brian-rongzhang)的傾情參與及貢獻致謝,並給予其高度的評價及認可。
艾佳生活創立於2015年初,由江蘇一德集團和建業集團共同投資組成,開創互聯網生態、共享經濟、地產3.0三位一體的新模式。公司致力於打造互聯網傢俱生態圈,對地產、家裝、傢俱、家電、智能化、設計、金融、物流進行價值鏈重構,實現多方共贏,艾佳生活獲得天圖資本10億元B輪融資,估計超10億美金,在資本寒冬環境下成爲新晉獨角獸。
未來,微衆銀行WeDataSphere大數據團隊將繼續攜手艾佳生活大數據團隊,在容器化方向深耕細作。一方面推動Linkis與KubeSphere集成,在易用性、彈性伸縮、故障遷移和滾動發佈等能力上推出更多的容器化特性,豐富Linkis在雲原生方向的應用場景;另一方面,將更加深入地使用和集成雲原生各個組件的容器化能力,如:將EngineConn的啓動停止交由service管理、引入nacos接管服務註冊發現、更加靈活細粒度的pod結構,協助滿足Entrance與EngineConn的點對點RPC通信需要,以滿足企業對大數據統一出入口的計算治理需求,做到7*24不間斷提供服務,爲大家的大數據平臺提供金融級可靠能力。
WeDataSphere,BIG DATA MADE EASY.
用心做一個有溫度的開源社區
~歡迎關注~
如果喜歡我們的產品或文章,請給我們的GitHub點上你寶貴的star和fork哦~~
本文分享自微信公衆號 - WeDataSphere(gh_273e85fce73b)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。