作者:一皓,蒙武,君合,心彥,飛木,羽礪等
前言
本章節主要是基於框架的量化,編譯,推理的相關的開發模式。把它作爲“含光十八式”的第一式,是因爲這是比較基礎同時也是高層的使用方法。藉助於框架的功能,用戶即使不瞭解含光NPU和底層編程接口的一些細節,也能比較方便地使用NPU,做基於NPU的開發。通過NPU軟件棧配合框架,去充分發揮NPU硬件的性能。
當你準備閱讀此文時,如果你沒有閱讀過《含光800NPU編程模型》,請你一定要先仔細地讀一讀編程模型。它能幫助你更好地理解下面的開發指南和例程。同時,本文將是一個指引,更具體的文檔在《HanGuangAI SDK》。如想了解更細節的信息,請閱讀開發文檔。
框架和模型
HanGuangAI軟件棧對框架和模型的支持選擇,都是根據框架模型在集團的業務使用情況爲優先級。根據我們當前的業務統計情況,我們的安