英特爾開源分佈式深度學習平臺Nauta,使用Kubernetes 和 Docker 平臺運行

1 月 24 日,英特爾發表博文宣佈開源其分佈式深度學習平臺Nauta。Nauta 使用業界領先的Kubernetes 和 Docker 平臺運行,以實現可擴展性和易管理性。

GitHub開源地址:https://github.com/intelAI/Nauta

隨着越來越多的企業探索在業務中使用 AI 來改善商業模式,AI 繼續不斷髮展。根據 Gartner 最近一份報告顯示,AI 部署已經產生巨大實際價值,2022 年價值有望達到 4 萬億美元。AI 中的深度學習也獲得快速發展,據德勤一份 2018 年地調查顯示,有將近 50% 的受訪者表示已經採用了深度學習。雖然業務價值持續增長,並且企業對深度學習的興趣顯而易見,但集成、驗證和優化深度學習解決方案仍然是一項複雜,有風險且耗時的工作。這就是英特爾使用 Kubernetes 爲分佈式深度學習引入Nauta 開源平臺的原因。

Nauta是什麼?

Nauta 提供了一個多用戶的分佈式計算環境,用於運行深度學習模型訓練實驗。它可以使用命令行界面、Web UI和/或TensorBoard 查看和監控實驗結果。你可以使用現有數據集,自己的數據或在線下載的數據創建公共或私人文件夾,更輕鬆地在團隊之間進行協作。

Nauta 使用業界領先的 Kubernetes 和 Docker 平臺運行,以實現可擴展性和易管理性。爲了讓創建和運行單節點和多節點深度學習訓練實驗更簡單,該平臺兼容各種深度學習框架和工具的模板包(並可自定義),而無需標準容器環境所需的所有系統開銷和腳本。

在模型測試中,Nauta 還支持批量和流式推理,所有工作在一個平臺上完成。

image

(圖1:使用 Nauta 訓練並部署深度學習網絡)

面向開發人員,支持Kubernetes和容器化

英特爾在創建 Nauta 工作流程中考慮到了開發人員和數據科學家。Nauta是一個企業級堆棧,適用於需要進行深度學習模型訓練並在生產中部署團隊。使用 Nauta,用戶可以在單個或多個工作節點上使用 Kubernetes 定義並進行容器化的深度學習實驗,並檢查這些實驗的狀態和結果,以進一步調整和運行其他實驗,或準備訓練模型進行部署。

Nauta 特性

  • Nauta 使用戶能夠利用來自經驗豐富的機器學習開發人員和運營商的共享最佳實踐,而不會犧牲靈活性。
  • 在每個抽象級別,開發人員仍然有機會回退到 Kubernetes 並直接使用原語。
  • Nauta讓新手在有保障的情況下進行實驗。精心挑選的組件和直觀的用戶體驗減少了對開源DL服務的生產準備,配置和互操作性的擔憂。
  • 支持多團隊成員協作,作業輸入和輸出可以在團隊成員之間共享,並通過啓動 TensorBoard來查看其他人的工作檢查點,幫助調試問題。

image

(圖2:使用TensorBoard和Nauta WebUI監控作業)

創建指南

2019年,Nauta 將在 Q1 及更高版本中進行更新,並通過landing page維護開發者社區,鼓勵開發人員和數據科學家在他們自己的堆棧上嘗試Nauta。

有關最新的技術信息,包括安裝指南,用戶文檔以及如何參與項目,參見 Github:https://github.com/intelAI/Nauta

構建 Nauta 安裝包並在Google Cloud Platform上順利運行,請關注Google雲平臺上的Nauta 入門

有關構建 Nauta 包的詳細信息,參見如何構建指南

快速啓動並運行,請查看入門指南

更多信息,請參閱以下文檔:

Nauta、Kubeflow Pipeline、Azure Kubernetes、Acumos AI對比

Nauta 是可以使用 Kubernetes 或 Docker 容器的最新發布工具,這種方法讓從業者在通過內部部署服務器還是雲端部署AI之間進行選擇。

11月,谷歌推出了一個Kubernetes工作流程 Kubeflow Pipeline,而微軟上個月在公開預覽中推出了 Azure Kubernetes 服務。

Kubeflow Pipeline GitHub:https://github.com/kubeflow/pipelines

Kubeflow是一個使用Kubeflow Pipelines SDK構建的可重複使用的端到端ML工作流程,致力於使 Kubernetes 上機器學習工作流的部署簡單,可移植和可擴展。

Azure Kubernetes:https://azure.microsoft.com/en-us/services/kubernetes-service/

Azure Kubernetes簡化Kubernetes管理、部署和運營,使用完全託管的 Kubernetes 容器編排服務。

另外,Linux 基金會的 LF 深度學習基金也於去年秋季推出了用於深度學習的 Acumos AI 平臺和開源框架,可以輕鬆構建、共享和部署AI應用程序,標準化了運行開箱即用的通用 AI 環境所需的基礎架構堆棧和組件。

參考鏈接:
https://venturebeat.com/2019/01/23/heartland-tech-weekly-indie-vcs-funding-model-could-be-promising-for-startups-in-middle-america/
https://www.acumos.org/
https://azure.microsoft.com/en-us/services/kubernetes-service/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章