【華爲雲技術分享】LiteAI四大絕招,解鎖物聯網智能設備AI開發難關

【摘要】 IoT設備中嵌入AI能力實現產品的智能升級,已經是AIoT行業發展的重要通道,那怎樣才能實現AIoT = AI + IoT呢?如何將AI模型塞到小小的IoT設備裏,讓它可以輕鬆運行起來呢?成爲了AI開發者遇到的棘手難題。

你知道我們生活中常見的物聯網智能設備融合AI技術後,會給我們帶來什麼樣的智能交互體驗?在我們指尖觸碰的那一剎那背後隱藏的代碼世界又是怎麼樣的呢?

今天就來和大家說說IoT智能設備輕鬆實現AI的奧祕!

AIoT,智能化升級的最佳通道

AIoT,對我們來說已經不是一個陌生的詞彙了,隨着深度學習的蓬勃發展和5G萬物互聯時代的到來,越來越多的人將AI與IoT結合到一起,而 AIoT已經成爲傳統行業智能化升級的最佳通道,是物聯網發展的必然趨勢。

AI和IoT相互交融產生的魔力,讓許多智能產品及智能應用成爲無窮想象的“潛力股”。比如智能音箱中的語音喚醒,家庭監控裏的人臉識別,可穿戴設備上的AI計步等等,已經驗證物聯網產品融入人工智能,升級成了智能設備後的“威力”。

但,物聯網AI 開發者的“痛”,你遇到過麼?

很多AI開發者開發者在訓練得到AI模型之後,必須得在設備上實現模型的推理才能獲得相應的AI能力,但目前AI模型不能直接在設備上運行起來。這就意味着,開發者還得有一套對應的推理框架才能真正實現AI與IoT設備的結合。

另外,目前深度學習雖然可以在很多領域超越傳統算法,不過真正用到實際產品中卻要面臨計算量大,內存佔用高,算法延時長的問題,而IoT設備又往往有算力低、內存小及實時性要求高的特點。因此針對IoT資源受限的問題,AI模型的壓縮及性能優化是AI模型在部署過程中必須解決的難點。

IoT設備中嵌入AI能力實現產品的智能升級,已經是AIoT行業發展的重要通道,那怎樣才能實現AIoT = AI + IoT呢?如何將AI模型塞到小小的IoT設備裏,讓它可以輕鬆運行起來呢?成爲了AI開發者遇到的棘手難題。

LiteAI四大"殺手鐗",解鎖物聯網設備AI 開發難關

l  LiteOS輕量級AI推理框架LiteAI,從模型轉換、優化及執行三個方面向開發者呈現如何在IoT設備上實現AI模型的推理全流程,並結合智能設備AI開發的案例,展示AI部署全過程。

l  針對IoT設備內存空間小的問題,LiteAI應用了模型量化技術,將模型參數從32比特浮點量化到8比特定點,實現75%模型壓縮;實現更合理的內存管理算法,最大化內存複用率,絕大部分場景下達到內存使用下限值;提供模型壓縮及聚類算法供開發者選擇,進一步減少內存佔用。

l  LiteAI採用算子融合、SIMD指令加速、循環分支細化及Cache分塊等技術手段,優化AI網絡算子性能,加速模型推理,充分發揮ARM CPU算力。

l  LiteAI推理引擎純C語言實現,無第三方依賴,極爲適合IoT產品部署;採用代碼化模型執行函數設計,僅編譯鏈接有用算子,完全剔除其他所有無用算子,基本無冗餘代碼,實現代碼段空間佔用最小化。

觀看直播,聽聽專家怎麼說IoT智能設備裏的AI奧祕

點擊這裏,瞭解更多精彩內容

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章