前言
本章節介紹基於HanGuangAI軟件運行時（RunTime）的開發。這些運行時編程接口既可以整合到框架中，也可以用來實現推理引擎，或者直接被AI應用程序使用。現階段，他們是運行時控制使用含光NPU的唯一編程接口。
當前AI計算芯片的架構各異，表現在軟件接口上，就是沒有一套標準的編程接口。Nvidia的領頭羊地位，由其通用計算拓展到AI計算領域，但由於芯片架構之間差別太大，它的編程接口並不適合其他架構。況且就是Nvidia自己，也有不同層次，不同目的的編程接口：從底層的CUDA驅動接口，到CUDA運行庫，TensorRT，以及其他的運算庫。
我們在設計自己的編程接口的時候，儘量使用一些被普遍使用的名詞和組織方式，以方便開發者能快速瞭解和掌握含光NPU的編程。因此，如果你熟悉CUDA/TensorRT，會有一些熟悉的感覺。但是，由於