基於TDH大數據平臺安裝並上架Sophon可拖拽式人工智能平臺

大數據核心原理與實踐專欄

先決條件

首先說明一下，Sophon人工智能平臺有單獨的安裝包SophonWeb，可獨立部署，部署方式同社區版TDH安裝方式一樣，極爲簡單。即當TDH平臺部署即可，過程參考先前博文。

但是現在，如果我們生產環境中已經部署好TDH大數據平臺，現在又想用Sophon人工智能平臺，這時就需要手動上架Sophon應用了。因爲SophonWeb收費，我們可以先安裝TDH社區版，再手動上架Sophon即可。部署TDH（Transwarp Data Hub）商業大數據平臺教程可參考如下博文：

搭建TDH商業大數據平臺社區版（附其他主流商業大數據平臺下載彙總）

環境配置

# 查看CPU、內存、硬盤
cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id"
cat /proc/meminfo |grep MemTotal
fdisk -l |grep Disk

• TDH 5.1.2 final
• 8個Intel Xeon E5-2620 v4 @ 2.10GHz（8核16線程，支持超線程，公司有礦）
• 65G內存
• 500G硬盤

準備安裝介質

• sophon-1.3-transwarp-5.1.img （鏡像）
• sophon-redis-transwarp-5.1.img （鏡像）
• sophon-1.3-transwarp-5.1.tar.gz （配置文件）

上架Sophon操作

1、解壓Sophon配置文件至相應目錄

tar zxvf sophon-1.3-transwarp-5.1.tar.gz -C /var/lib/transwarp-manager/master/content/meta/services/SOPHON/

2、加載、修改鏡像Tag、並上傳鏡像

# 加載需要的鏡像
docker load -i sophon-1.3-transwarp-5.1.img
sophon-redis-transwarp-5.1.img
# 查看已有鏡像
docker images

可以看到我們需要的兩個鏡像已被加載，這時我們需要將鏡像的Tag改爲當前TDH版本，（這裏改爲transwarp-5.1.2-final），以方便TDH平臺對Sophon進行統一管理。

我們記下需要更改 Tag 的鏡像ID，IMAGE ID，以上爲 72de04cd4fe0、4fa67bc655ef。

# 修改tag
docker tag 72de04cd4fe0 {$yourIP}:5000/transwarp/sophon-web:transwarp-5.1.2-final 
docker tag 4fa67bc655ef {$yourIP}:5000/transwarp/sophon-redis:transwarp-5.1.2-final

可以看到 Tag 已經改好，下面直接 push 上傳鏡像即可：

docker push {$yourIP}:5000/transwarp/sophon-web:transwarp-5.1.2-final
docker push {$yourIP}:5000/transwarp/sophon-redis:transwarp-5.1.2-final 

3、修改配置文件

如果在第一步解壓出的配置文件目錄與當前TDH平臺的 Tag 一致，那麼可以直接跳過這一步，如果不一致，直接將配置文件目錄改爲當前 Tag ，再將裏面所有的版本信息都更正過來即可。

# 鍵入配置文件目錄
cd /var/lib/transwarp-manager/master/content/meta/services/SOPHON/
# 更改配置文件目錄
mv transwarp-x.x.x-final  transwarp-y.y.y-final 
cd transwarp-y.y.y-final
# 替換操作
sed -i "s/transwarp-x.x.x-final/transwarp-y.y.y-final/g" conf1.yaml
sed -i "s/transwarp-x.x.x-final/transwarp-y.y.y-final/g" conf2.yaml
...
sed -i "s/transwarp-x.x.x-final/transwarp-y.y.y-final/g" confn.yaml

4、重啓Transwarp Manager

上架好後，在 Master 主節點重啓 Manager （可視化集羣管理8180界面） 即可：

/etc/init.d/transwarp-manager restart

至此，Sophon應用上架完成，我們便可以在 TDH 大數據平臺中使用可拖拽式人工智能平臺 Sophon 了。

但是如果我們需要對之後 Sophon 訓練出來的模型進行 API 部署，我們還需要上架 Kong 服務，如果需要對訓練模型工作流部署，我們還需要上架 WorkFlow。一般情況用不上，我們可以就此結束。

添加 Sophon 依賴包

在 yarn image 中添加 Sophon 依賴包：

• numpy-1.14.2-cp35-cp35m-linux_x86_64.whl
• pandas-0.23.0-cp35-cp35m-linux_x86_64.whl
• python_dateutil-2.7.0-py2.py3-none-any.whl
• pytz-2018.3-py2.py3-none-any.whl
• six-1.11.0-py2.py3-none-any.whl

執行 pip3 install ，之後 commit 並 push image：

pip3 install numpy-1.14.2-cp35-cp35m-linux_x86_64.whl
...

上架Kong服務（可選）

需要的鏡像、配置文件：

• kong-transwarp-5.1.img
• kong-transwarp-5.1.tar.gz

配置文件解壓路徑：

 /var/lib/transwarp-manager/master/content/meta/services/KONG/

加載鏡像、更改 Tag 、push 鏡像、更改配置文件版本信息、重啓 Manager 等操作同上。

上架WorkFlow服務（可選）

需要的鏡像：

• workflow-transwarp-5.1.img

無需配置文件，加載鏡像、更改 Tag 、push 鏡像，重啓 Manager ，登錄即可安裝 WorkFlow 服務。

至此便完成了基於 TDH 大數據平臺安裝 Sophon 人工智能平臺操作。後面直接在 Manager 上安裝 Sophon 即可：