WeDataSphere 入門指南

自從2019年WeDataSphere開源以來,項目得到了快速的發展。WeDataSphere和Apache Linkis開源社區羣用戶總數超 7600人,沙箱累計試用公司超 2600家,收到超過 110家企業已投入生產的反饋,生產環境支撐的數據量超 400PB,生產服務的用戶超 5000人,涉及金融、電信、製造、互聯網等多個行業。

爲了更好的讓新同學能夠了解WeDataSphere,因此我們寫了這篇文章,幫助新同學快速入門WeDataSphere。

一、WeDataSphere簡介
WeDataSphere是一套一站式、金融級、全連通、開源開放的大數據平臺套件。
基礎平臺由數據交換、數據分發、計算、存儲四大層次組成,關注底層數據傳輸計算存儲能力;功能平臺由平臺工具、數據工具、應用工具三大層次組成,關注用戶各類功能工具需求實現。形成了完整的大數據平臺技術體系,提供一站式的豐富數據平臺組件及功能支撐。

(帶藍色S球項目爲已開源

經過多年的發展,WeDataSphere形成 了自身的核心優勢:

  • 一站式:提供從數據應用開發到數據可視化、從批量作業到實時流式計算能力等的豐富功能組件,滿足不同場景的數據應用開發運行和數據管理需求。

  • 金融級:在高可用、數據治理、數據安全等方面做多種增強,打造金融級高可靠大數據平臺,支撐核心關鍵業務應用。

  • 全連通:獨有數據應用開發管理門戶DataSphere Studio 和計算中間件Linkis ,兩層連通和集成的架構設計,使平臺內各組件間南北東西向真正打通,提供更無縫的用戶體驗,更簡化的平臺架構,更強大的管控功能。

  • 開源開放:WeDataSphere 基於開源,回到開源,自研的各種組件會逐步開源;整體設計上開放靈活,對擴展友好且組件可插拔;同時以開源開放的形式,吸引更多個人、組織,參與到WDS的開發建設和推廣應用中來。


二、項目GitHub地址

目前我們開源的全部項目都能在GitHub上找到,以下爲項目地址,便於大家快速查詢:

● WeDataSphere大數據平臺套件:https://github.com/WeBankFinTech/WeDataSphere/

● Apache Linkis計算中間件 :https://github.com/apache/incubator-linkis

● DataSphereStudio一站式數據應用開發管理門戶:https://github.com/WeBankFinTech/DataSphereStudio

● Qualitis 數據質量管理平臺:https://github.com/WeBankFinTech/Qualitis

● Schedulis 工作流任務調度系統:https://github.com/WeBankFinTech/Schedulis

● Exchangis 數據交換平臺:https://github.com/WeBankFinTech/Exchangis

● Prophecis 一站式機器學習平臺:https://github.com/WeBankFinTech/Prophecis

● Scriptis 交互式數據分析 Web 工具:https://github.com/WeBankFinTech/Scriptis

● Visualis 數據可視化工具:https://github.com/WeBankFinTech/Visualis

● Streamis 流式應用開發管理系統: https://github.com/WeBankFinTech/Streamis

三、QA文檔

很多剛接觸WeDataSphere的開發者在安裝部署的過程中都會遇到各種問題,因此建議按照以下方法進行查閱:

1.  到QA文檔中查詢是否有類似的問題和解決方案,QA文檔鏈接:https://docs.qq.com/doc/DSGZhdnpMV3lTUUxq?u=e664e79acf4f467aa99c565ea317e288

2.  通過以下四種方式尋求社區解答:

(1)Issue提問:在對應的項目GitHub地址中提Issue,把遇到的問題詳細描述;

(2)郵件提問:訂閱Apache郵件,通過發送郵件進行提問,訂閱攻略鏈接:https://linkis.apache.org/zh-CN/community/how-to-subscribe

(3)QA文檔提問:直接在QA文檔中錄入遇到的問題

(4)社羣提問:在QQ和微信羣進行提問

當你發起提問後,請耐心等待,社區的開發者會通過以上四個渠道進行答疑。


四、沙箱環境體驗

爲了方便新用戶瞭解WeDataSphere的功能,社區提供了沙箱環境的體驗版本。進行註冊後即可登錄使用。

  • 沙箱環境網址:https://dss-open.wedatasphere.com/

  • 登錄賬戶/密碼:註冊手機號/手機號後六位

在沙箱體驗的過程中,請參考沙箱使用指南:《保姆級教程:DSS沙箱環境使用指南》

五、學習資料

1.  技術文章:涵蓋了安裝部署、使用實踐、開發指南等各領域,點擊以下文章跳轉到文章集錦:《WeDataSphere社區文章集錦》

2.  視頻教程:https://space.bilibili.com/598542776


六、如何參與社區

全部活動計劃將持續更新,包括但不限於如下參與方式,如果您對社區活動感興趣,歡迎關注或聯繫 WeDataSphere 小助手。

(1)參與社區雙週例會:每雙週社區定期召開開發者例會,主要對社區感興趣的都可以參與,參與指引詳見文章:《參與Apache Linkis社區開發者雙週例會,與社區共同成長》

(2)社區徵文:包括但不限於:生產案例、源碼解讀、應用實例、教程演示等;

(3)社區活動:日常在社區羣中發佈社區活動,社區用戶積極參與;

(4)成爲分享嘉賓:參與貢獻的優秀社區成員,即有機會受邀參與社區分享;同時,可以根據項目經驗,主動聯繫小助手成爲分享嘉賓。

(5)成爲社區佈道師:優秀社區成員有機會受邀成爲社區佈道師,或者主動聯繫小助手成爲社區佈道師。

有任何問題,請微信聯繫小助手

七、如何爲社區做貢獻

【主要貢獻方式說明】

● 新手任務:認領入門任務,詳見 https://github.com/apache/incubator-linkis/issues/1161

● 文檔類貢獻:文檔的補充完善對於社區的發展至關重要,希望你能從現有的文檔中發現需要優化與改進地方。內容包括但不限於安裝部署、使用經驗、案例實踐等,可以投稿給小助手或在對應的項目 Issue 中錄入你的文章,例如 linkis https://github.com/apache/incubator-linkis/issues/1233

● 代碼貢獻:包括但不限於 Bug 反饋與修復、提交 PR。

 社區問題解答:幫助回答問題是爲社區做貢獻的一個非常有價值的方式;社區中會有新成員,新夥伴不斷的加入進來,幫助新人的同時,正是展現你專業知識的好機會。

● 成爲社區志願者:非代碼類貢獻,包括但不限於網站翻譯、編輯排版、投稿、演講、組織活動等。


本文分享自微信公衆號 - WeDataSphere(gh_273e85fce73b)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章