Python神經網絡集成技術Guide指南
本指南將介紹如何加載一個神經網絡集成系統並從Python運行推斷。
提示
所有框架的神經網絡集成系統運行時接口都是相同的，因此本指南適用於所有受支持框架（包括TensorFlow、PyTorch、Keras和TorchScript）中的模型。
打包神經網絡集成系統
有關如何在所有支持的框架中創建Neuropod模型的示例，請參見基本介紹指南。
打包一個神經網絡集成系統
from neuropod.loader import load_neuropod
neuropod = load_neuropod(PATH_TO_MY_MODEL)
還可以使用load_ernood作爲上下文管理器：
from neuropod.loader import load_neuropod
with load_neuropod(PATH_TO_MY_MODEL) as neuropod:
# Do something here
Pass
選項
還可以在加載模型時提供運行時選項。
要選擇在哪個設備上運行模型，可以提供一個visible_gpu參數。
這是這個神經網絡集成系統應該運行的GPU的索引（如果有的話）。可以是無整數，也可以是非負整數。將此設置爲“無”將嘗試在CPU上運行此模型。
# Run on CPU
neuropod = load_neuropod(PATH_TO_MY_MODEL, visible_gpu=None)
# Run on the second GPU
neuropod = load_neuropod(PATH_TO_MY_MODEL, visible_gpu=1)
獲取模型的輸入和輸出
模型的輸入和輸出通過輸入和輸出屬性可用。
with load_neuropod(PATH_TO_MY_MODEL) as neuropod:
# This is a list of dicts containing the "name", "dtype", and "shape"
# of the input
print(neuropod.inputs, neuropod.outputs)
推論
模型的推理方法用於運行推理。此方法的輸入是將輸入名稱映射到值的dict。這必須與加載模型的neuropod配置中的輸入規範匹配。
提示
這個dict中的所有鍵必須是字符串，所有值必須是numpy數組。
infer的輸出是將輸出名稱映射到值的dict。對其進行檢查，以確保其與已加載模型的neuropod配置中的規範匹配。這個dict中的所有鍵都是字符串，所有值都是numpy數組。
x = np.array([1, 2, 3, 4])
y = np.array([5, 6, 7, 8])
with load_neuropod(ADDITION_MODEL_PATH) as neuropod:
results = neuropod.infer({“x”: x, “y”: y})
# array([6, 8, 10, 12])
print results[“out”]
序列化
import numpy as np from neuropod import neuropod_native
# An array to serialize
tensor = np.arange(5)
# Convert a numpy array to a NeuropodTensor and serialize it
serialized_bytes = neuropod_native.serialize(tensor)
# Deserialize a string of bytes to a NeuropodTensor
# (and return it as a numpy array)
deserialized = neuropod_native.deserialize(serialized_bytes)
# array([0, 1, 2, 3, 4])
print(deserialized)
序列化代碼在NUMPY數組和C++ NoopPotoStor對****象之間轉換（以零拷貝方式）。然後，使用C++序列化功能來序列化/反序列化。
提示
序列化和反序列化工作在Python和C++之間。這意味着可以在C++中序列化張量，在Python中反序列化，反之亦然。
Warning
這個API的目標是支持臨時序列化。不能保證向後兼容，因此此API不應用於數據的長期存儲。