tensorflow-serving部署

一、hadoop集羣部署

OS: centos7

1.hadoop3.0集羣部署並啓動yarn

省略

2.創建python虛擬環境

#安裝virtualenv

pip install virtualenv

#創建虛擬環境

cd /data/venv

virtualenv hdp-env

#準備要安裝的tensorflow包名及版本號

$ cat requirement.txt |grep ten

tensorboard==1.12.2

tensorflow==1.12.0

tensorflow-serving-api==1.12.0

tensorflow-tensorboard==1.5.1

#安裝python包

./hdp-env/bin/pip2.7 install -r requirement.txt --compile --index-url http://pypi.test-inc.com/youzan/dev/+simple --trusted-host pypi.test-inc.com

#要開始使用虛擬環境，其需要被激活

source venv/bin/activate

#在虛擬環境中暫時完成了工作，則可以停用它

. venv/bin/deactivate

二、tensorflow-serving部署

OS: centos7

1. 部署docker

#安裝軟件包: docker-1.13.1

sudo yum install docker

#修改配置，改變docker鏡像文件路徑爲/data/docker，鏡像下載地址改爲公司下載源地址。

vim /etc/sysconfig/docker

OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false --insecure-registry=abc.s.test-inc.com -g /data/docker'

#docker啓動

sudo systemctl  start docker

2.製作tensorflow-serving docker鏡像源

#在測試環境下載docker鏡像

docker pull tensorflow/serving:1.12.0

#將docker鏡像上傳到公司測試環境docker鏡像源

docker tag tensorflow/serving:1.12.0 abc.test-inc.com/container/tensorflow/serving:1.12.0

docker login abc.test-inc.com

docker push abc.test-inc.com/container/tensorflow/serving:1.12.0

#找王波將測試環境的鏡像源上傳到生產環境的鏡像源才能使用

3.部署tensorflow-serving

#從公司生產環境鏡像源下載docker鏡像

docker pull abc.s.test-inc.com/container/tensorflow/serving:1.12.0

#下載serving源碼，docker鏡像運行的時候，需要使用裏面的模型文件進行測試

git clone -b r1.12 --recurse-submodules https://github.com/tensorflow/serving

#啓動tensorflow-serving

/usr/bin/docker run -it -p 8501:8501  -v "/opt/tensorflow-serving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two -d abc.s.test-inc.com/container/tensorflow/serving:1.12.0

#測試模型

/usr/bin/curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict