Databricks（Apache Spark數據分析引擎的母公司）最近發佈了統一數據分析平臺，其中包括一個名爲AutoML Toolkit的自動化機器學習工具。
通過自動化數據科學工作流的各個步驟——包括特徵工程、超參數調優、模型搜索和部署——以獲得完全受控和透明的增強ML體驗。該工具包可用於幫助數據科學團隊提高生產效率。這是Databricks實驗室提供的面向公民和專家數據科學家的定製化解決方案。在MLflow中，AutoML工具包的執行會被自動跟蹤。
Databricks實驗室項目是一個實驗性的端到端監督學習解決方案，用於自動化特徵清理、特徵向量化、模型選擇和訓練、超參數優化和選擇、批量預測以及記錄模型結果和訓練運行等步驟。
統一分析平臺主要包括以下三個組件：
- Databricks工作區：以統一數據科學和工程爲目標，工作區利用共享交互式筆記本、工具和API處理所有分析過程（從ETL到模型訓練和部署）。
- Databricks運行時：運行時組件幫助進行數據準備，並持續訓練和部署AI/ML應用程序的模型。它支持Hyperopt、MLlib和MLflow之間的集成，從而支持分佈式有條件的超參數調優、自動跟蹤和增強的可視化。開始時，用戶可以使用預配置的集羣，包括一些流行的ML框架，如Hadoop、Kafka、Spark、Parquet、TensorFlow、Keras和Scikit Learn。
- Databricks雲服務：雲服務通過在雲上提供完全託管的服務來幫助管理基礎設施的複雜性。雲服務包括微軟Azure集成和Amazon Web Services（AWS）。
Databricks還提供與第三方機器學習工具的集成，如H2O的Sparkling Water、DataRobot和XGBoost。
要了解有關新的分析平臺和AutoML toolkit的更多信息，請查看以下資源：
原文鏈接：
Databricks’ Unified Analytics Platform Supports AutoML Toolkit