Spark整合Ray思路漫談

作者:祝威廉,資深數據架構,11年研發經驗。同時維護和開發多個開源項目。擅長大數據/AI領域的一些思路和工具。現專注於構建集大數據和機器學習於一體的綜合性平臺,降低AI落地成本相關工作上。


什麼是Ray

之前花了大概兩到三天把Ray相關的論文,官網文檔看了一遍,同時特意去找了一些中文資料看Ray當前在國內的發展情況(以及目前國內大部分人對Ray的認知程度)。

先來簡單介紹下我對Ray的認知。

首先基因很重要,所以我們先需要探查下Ray最初是爲了解決什麼問題而產生的。Ray的論文顯示,它最早是爲了解決增強學習的挑戰而設計的。增強學習的難點在於它是一個需要邊學習,邊做實時做預測的應用場景,這意味會有不同類型的tasks同時運行,並且他們之間存在複雜的依賴關係,tasks會在運行時動態產生產生新的tasks,現有的一些計算模型肯定是沒辦法解決的


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章