環境配置,運行官方demo請參考鏈接:【Tensorflow】Tensorflow serving模型部署(一):運行官方demo。
TensorFlow Serving中一個servable的模型目錄中是一個pb格式文件和一個名爲variables的目錄,因此需要在模型保存時就保存好可部署的模型格式,或者將已經訓練好的checkpoint轉換爲servable format。
saved_model.pb是MetaGraphDef,它包含圖形結構。variables文件夾保存訓練所習得的權重。
平常我們使用更多的是f.Saver()保存的模型是checkpoint格式的。
在模型保存時就保存爲savedmodel的形式,tensorflow提供了兩種方式
一、tf.saved_model.simple_save
tf.saved_model.simple_save(sess, model_path, inputs={'替換成你的輸入節點name': 替換成輸入變量name}, outputs={'替換成你的輸出節點name': 替換成輸出變量name})
在simple_save方法中,系統會給一個默認的tag: “serve”,也可以用tag_constants.SERVING這個常量。