剛剛,華爲正式開源AI框架MindSpore,還帶來了業界最快自動網絡架構搜索技術

2020 年 3 月 27 日至 28 日,華爲開發者大會受疫情影響選擇以線上直播的方式呈現。會上,華爲 MindSpore 首席科學家陳雷博士宣佈全場景 AI 計算框架 MindSpore 正式開源。

全場景 AI 計算框架 MindSpore 正式開源

3 月 28 日上午,華爲 MindSpore 首席科學家陳雷博士宣佈:全場景 AI 計算框架 MindSpore 正式開源。

在去年華爲舉辦的昇騰 910 AI 處理器和 MindSpore 計算框架發佈會上,華爲曾承諾將在 2020 年 Q1 季度開源 MindSpore。

今天,華爲兌現承諾,MindSpore 正式開源,四月份即可試用,代碼將託管在碼雲上。這標誌着華爲已完成全棧全場景 AI 解決方案(Portfolio)的構建,也意味着華爲將與所有開發者共建 MindSpore 生態。

會議現場,陳雷博士介紹,當下學術界 AI 研究持續升溫,今年 AI 頂會論文的投稿量達到了近 9000 篇,各種模型算法層出不窮,工業界 AI 應用層出不窮,例如平安城市、智慧醫療等,我們需要模型能做到大、全、多,也就是數據集大、功能完備,適應多場景。兼顧多方訴求,正是華爲設計 MindSpore 的意義。

MindSpore 爲數據科學家及研究人員提供了全新的工具,使理論探索和創新變得更加簡單高效。相比 TensorFlow,MindSpore 可降低 AI 開發者門檻,爲開發者提供全場景 AI 的模型開發、模型運行、模型部署端到端能力,從而更好地促進 AI 的應用。

MindSpore模型特性

MindSpore 模型特性據介紹,MindSpore 具備三大特性:一是開發友好,做到了 AI 算法即代碼,代碼量相比之前減少 20%,效率提升 50%;二是運行態高效,面向深層芯片優化,通過圖、算子、邊緣加速以及神經網絡並行,協同深層芯片算力達到 1.6 倍的性能優化;三是部署靈活,通過自適應的部署技術實現從 IoT 設備到雲的靈活部署。針對不同的運行環境,MindSpore 框架支持可大可小,適應全場景獨立部署。

在 AI 模型訓練中,由於數據量大、數據複雜,分佈式訓練尤爲重要。爲了實現分佈式訓練,開發者首先要設計算法邏輯,然後再訓練分佈式並行策略,這之中的混合並行尤爲重要。爲此,MindSpore 實現了混合並行功能,一行代碼自動混合並行,無需關注系統細節,而且能保證性能。

爲了方便開發者調試,MindSpore 利用一行代碼即可完成BPT調試和運行切換,既方便用戶調試,又保證運行時性能。開發者都知道,模型的黑盒給模型調試和調優帶來了極大困難,MindSpore 可視化工具可以方便開發者快速、高效進行算法調優。利用 MindSpore 的可視化工具,可以實現訓練過程可視化、數據可視化、模型溯源和模型對比等功能。

MindSpore 模型比較簡單,可以通過 Python 腳本實現定義,實現整個訓練代碼的生成。在軟硬件協同加速方面,MindSpore 也做了很多工作。在框架層,MindSpore 採取了 Pipeline 並行和跨內層複用的方法來進行加速,Pipeline 並行被應用到數據加載和梯度更新兩方面。梯度更新方面採用梯度數據驅動的自適應、圖切分同步方式進行梯度更新。

MindSpore 框架通過協同經過處理後的、不帶有隱私信息的梯度、模型信息,而不是數據本身,以此實現在保證用戶隱私數據保護的前提下跨場景協同。除了隱私保護,MindSpore 還將模型保護 Built-in 到 AI 框架中,實現模型的安全可信。在原生適應每個場景包括端,邊緣和雲,並能夠按需協同的基礎上,通過實現 AI 算法即代碼,使開發態變得更加友好,顯著減少模型開發時間。

MindSpore 框架社區地址:

https://support.huaweicloud.com/modelarts/index.html

業界最快自動網絡架構搜索技術來了

計算機視覺的目標是機器擁有人類感知視覺信號的能力,但是如何從海量數據中挖掘有效信息,比如如何利用生成數據訓練模型以及如何對齊不同模態的數據都存在問題。華爲提出知識蒸餾與自動數據擴增結合的方法,也是當前業界彌補自動數據增強技術劣勢的有效方法。

在多模態學習層面,大部分開發者面臨多模態信息表示、模態間聯合映射、模態對齊、模態融合、多模態協同學習等挑戰。作爲未來機器視覺的主流模式,華爲在多模態層面推出多模式對話系統,該系統可依據用戶需求生成不同模態相應,使用統一模型編碼不同形式領域信息。

在網絡架構搜索層面,手工網絡模型設計發展進入瓶頸、而自動網絡架構搜索尚存在一些問題,比如搜索空間需要人工經驗定義、待搜算子需要人工設計、較手工涉及網絡可遷移性差。針對這些問題,華爲推出當前業界搜索速度最快的自動網絡架構搜索技術,其算法細節是局部連接的思路解決網絡冗餘問題;邊正則化思想解決局部連接帶來的不穩定性。

Darts 系統方法首次在 ImageNet 數據集上完成搜索,相較於之前在 ImageNet,搜索速度快了近一倍,且取得了更好的性能。

在模型加速方面,業界提出了大量模型小型化解決方案,然而這些方案在實際應用中存在各種問題,比如低比特量化精度受限、混合比特網絡對硬件不友好、新型算子沒有獲得充分驗證等。對此,華爲提出新型算子加速卷積網絡 AdderNet,使用曼哈頓距離取代夾角距離,卷積無需乘法計算,使用 8 比特整數計算,對硬件更加友好,功耗更低。

在通用視覺模型層面,監督學習需要海量樣本、數據擬合無法泛化到不同子任務;強化學習需要海量試錯,缺少可重複性、可複用性以及魯棒性。演講中,田奇表示,學會推理預測是從感知走向認知的關鍵步驟,自監督學習逐漸成爲常識學習必經之路,缺乏有效的預訓練任務,在視覺領域的應用仍不成熟。對此,華爲推出拼圖遊戲,拼圖任務改進自監督模型,使網絡能夠處理任意拼圖佈局,從而更好地學習空間上下文提供的語義信息。


演講最後,田奇宣佈華爲視覺研究計劃——數據冰山計劃、數據魔方計劃、模型摸高計劃、模型瘦身計算、萬物預視計劃以及虛實合一計劃。讓數據生成真正替代手工標註;多模態數據量化,對齊,融合策略研究,構建下一代智能視覺;雲測大模型,刷新各類視覺任務性能上限;端側小模型,助力各種芯片完成複雜推理;定義預訓練任務,構建通用視覺模型;在虛擬場景下,不通過數據標註,直接訓練智能行爲本身。

此外,華爲正式宣佈推出業界首款企業級 AI 應用開發專業套件 ModelArts Pro,華爲方面表示這是一種行業 AI 落地方式。華爲雲通用 AI 服務總經理、語音語義創新 Lab 主任袁晶 表示,當下,我們還處於弱人工智能的階段,機器無法解決所有問題,所以需要確定邊界,然後進行分步實施,讓行業知識和算法有效結合,讓結果有價值,最終形成整體閉環。ModelArts Pro 就是把上述核心理念具化成了產品。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章